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空 遥 感 图 像 拼 接 技 术 中 的 几 项 关键 技术 进行 了 研究 和 探讨 。 内 容 包括 : 图 像 几何 畸变 校正 、 灰 度 序列 遥感 图 
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低 、 机 动 灵活 等 优点 ， 适 用 于 低空 高 分 辩 率 遥感 数据 的 实时 获取 ， 在 区 域 性 、 工 程 性 、 灾 
害 性 和 军事 性 的 遥感 监测 中 发 挥 着 大 型 遥感 系统 难以 蔡 代 的 作用 。 无 人 机 执行 物 感 监测 任 
务 时 ， 需 要 实时 传输 其 所 获取 的 图 像 以 及 状态 数据 ， 这 就 要 求 无 人 机 航空 况 感 系统 具备 自 
动 、 高 速 地 完成 图 像 的 获取 、 压 缩 、 传 输 、 处 理 、 显 示 以 及 存储 等 功能 。 其 中 ， 确 保 遥 感 
图 像 处 理 的 精准 性 、 实 时 性 与 可 视 性 是 无 人 机 得 以 有 效 利用 的 重要 前 提 条 件 。 由 于 现 有 成 
像 设备 的 性 能 所 限 ， 目 前 的 航空 匠 感 成 像 系统 无 法 获得 大 面积 、 高 分 辩 率 的 观测 图 像 ， 因 
此 需要 将 获取 的 序列 遥感 图 像 进行 在 线 动态 拼接 ， 以 提高 遥感 图 像 的 信息 获取 能 力 。 

结合 无 人 机 航空 避 感 具体 的 应 用 需求 ， 本 书 针对 航空 愧 感 图 像 拼接 技术 进行 了 以 
下 研究 工作 。 

(1) 根据 无 人 机 遥感 图 像 成 像 的 内 、 外 方位 元 素 ， 采 用 直角 空间 变换 及 二 次 线性 插 补 
方法 ， 实 现 了 遥感 图 像 校正 。 根 据 获 取 的 无 人 机 飞行 状态 参数 ， 实 现 了 连续 两 幅 无 人 机 航 
空 遥 感 快 视图 像 之 间 重合 区 域 的 图 像 范围 计算 。 

(2) 提出 一 种 分 布 存储 环境 下 的 并 行 几 何 校正 算法 ， 每 个 处 理 器 通过 计算 本 地 输入 子 
图 像 在 目标 图 像 中 的 范围 ， 确 定 其 需要 进行 重 采样 计算 的 区 域 ， 使 计算 过 程 中 所 需 的 数据 
均 为 本 地 数据 ， 很 好 地 解决 了 数据 局 部 性 问题 。 利 用 首尾 相连 的 闭 线段 近似 表示 理想 的 输 
出 图 像 块 边界 ， 详 细 讨 论 了 局 部 输出 区 域 的 计算 方法 ， 并 采用 一 种 新 的 存储 结构 用 于 保存 
校正 后 的 输出 图 像 块 信息 。 

(3) 基于 图 像 数 据 总 体 分 布 的 统计 ， 分 析 了 飞行 试验 图 像 的 成 像 质量 。 基 于 人 眼 亮度 
视觉 特性 曲线 ， 结 合 小 波 变 换 和 Curvelet 变 换 特点 ， 提 出 一 种 新 的 图 像 增强 方法 ， 实 现 了 
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无 人 机 遥感 序列 图 像 的 自 适应 增强 处 理 。 

(4) 提出 结合 小 波 变换 和 Canny 算 法 的 边缘 提取 算法 ， 该 算法 将 Canny 算 法 的 非 极 大 值 
抑制 、 双 闵 值 算法 与 小 波 变换 多 尺度 分 析 思 想 相 结合 ， 利 用 Canny 算 法 在 高 分 辨 率 图 像 的 
精确 定位 性 与 小 波 变换 后 的 低 分 辩 率 图 像 的 抗 噪声 能 力 相 结合 ， 从 而 消除 噪声 的 干扰 ， 提 
取 更 加 完整 的 边缘 。 

(5) 将 图 像 匹配 分 为 粗 匹 配 和 精 匹 配 两 个 步骤 。 在 粗 匹 配 计算 中 ， 首 先 确定 待 拼接 的 
两 幅 图 像 之 间 的 大 致 重合 区 域 ， 然 后 利用 小 波 变 换 与 Canny 算 法 提取 图 像 边 缘 ， 最 后 采用 
区 域 匹配 法 求 得 两 幅 图 像 的 匹配 点 。 在 精 匹 配 计算 中 ， 首 先 确定 更 小 的 搜索 区 域 ， 然 后 利 
用 最 小 二 乘法 计算 得 到 待 拼接 图 像 之 间 的 最 佳 相对 位 置 关 系 ， 最 后 根据 匹配 结果 ， 实 现 两 
幅 图 像 的 拼接 。 

(6) 基于 人 眼 的 颜色 视觉 特性 分 析 ， 本 书 提 出 了 一 种 具有 抗 亮度 干扰 能 力 的 彩色 图 像 
色差 度量 方法 。 利 用 颜色 相似 性 分 析 ， 并 引入 协 方差 矩阵 计算 ， 给 出 了 彩色 图 像 特征 模板 
的 提取 方法 。 利 用 最 小 二 乘法 ， 建 立 了 两 幅 彩 色 图 像 之 间 的 亮度 变换 函数 曲线 ， 实 现 了 基 
于 基准 图 像 亮度 分 布 的 伽 马 校正 。 

(7) 目标 的 特征 描述 是 跟踪 算法 中 的 重要 步 又， 直接 影响 最 终 的 跟踪 效果 ， 决 定 整个 
跟踪 系统 的 性 能 。 基 于 分 类 学 习 的 目标 跟踪 一 般 不 选择 较 直 观 的 整体 特征 ， 而 偏向 由 基本 
特征 进行 局 部 特征 统计 ， 使 特征 描述 子 更 易于 区 分 且 计算 量 较 小 。 选 择 目 前 成 功 应 用 于 目 
标 检测 的 HOG 特 征 作为 目标 特征 。 

(8) 传统 的 离线 分 类 器 需要 人 为 标记 大 量 的 样本 训练 分 类 器 ， 当 待 测 样本 与 训练 样本 
具有 较 大 差异 时 ， 无 法 及 时 适应 目标 的 外 观 变化 ， 且 难以 推广 到 其 他 目标 类 型 ， 分 类 器 应 
用 具有 局 限 性 。 基 于 检测 的 跟踪 算法 ， 在 跟踪 过 程 中 ， 跟 踪 器 根据 上 一 帧 的 跟踪 结果 信息 
在 线 更 新 分 类 器 ， 然 后 再 对 当前 帧 检测 ， 以 获取 当前 运动 目标 的 准确 预测 位 置 ， 有 效 抑制 
跟踪 漂移 。 首 先 构造 目标 的 外 观 模型 。 在 初始 帧 中 随机 选择 大 量 含 目标 区 域 以 及 含 背 景区 
域 等 的 大 图 像 块 ， 分 别提 取 HOG 特 征 ， 标 记 为 正 负 样 本 ， 然 后 将 这 些 样本 特征 集合 作为 
训练 样本 输入 SVM 分 类 器 ， 即 可 训练 得 到 目标 准确 的 参数 化 外 观 模型 。 由 于 HOG 特 征 具 
有 几何 不 变 的 特性 ， 经 过 SVM 训练 后 得 到 的 目标 外 观 模型 将 更 加 准确 。 对 文中 所 提出 的 
遥感 图 像 处 理 算法 ， 实 现 了 仿真 程序 设计 ， 验 证 了 算法 的 可 行 性 ， 完 成 无 人 机 航空 禹 感 图 
像 动 态 拼接 软件 的 设计 工作 。 

全 书 共 分 10 章 ， 第 1 章 对 无 人 机 及 遥感 系统 做 了 简单 的 介绍 ， 针 对 遥感 技术 中 的 图 像 
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匹配 和 融合 ， 给 予 综述 性 的 论述 ， 第 2 章 研究 拼接 处 理 前 的 畸变 校正 以 及 去 噪 增强 等 图 像 
预 处 理工 作 ， 第 3 章 研究 基于 图 像 大 边缘 提取 的 图 像 拼 接 技 术 ， 第 4 章 研 究 颜色 空间 和 颜色 
相似 性 的 度量 关系 ， 为 基于 像素 颜色 的 相似 性 匹配 计算 提供 理论 基础 ， 第 5 章 讨论 彩色 图 
像 拼接 ， 第 6 章 研 究 目 标 检测 中 一 些 常 用 的 图 像 特征 ， 详 细 描述 了 HOG 特 征 的 提取 方法 ; 
第 7 章 研究 支持 向 量 机 (SVMD) 算 法 的 原理 ， 详 细 描述 了 基于 HOG 和 SVM 的 目标 外 观 模型 
的 构建 ， 第 8 章 研 究 并 提出 了 基于 最 小 生成 树 模型 的 目标 模型 ， 详 细 描述 了 跟踪 模型 的 构 
建 过程 ， 并 将 这 种 跟踪 算法 应 用 到 多 目标 跟踪 视频 中 ， 第 9 章 研究 一 个 在 线 的 、 结 构 化 的 
SVM(Structured SVMD) 框 架 中 学 习 外 观 模型 参数 和 目标 间 的 相互 关系 参数 ， 实 时 更 新 所 有 
目标 的 外 观 模型 和 这 些 目标 间 的 结构 约束 ， 使 跟踪 器 能 够 及 时 适应 目标 和 环境 的 变化 ;第 
10 章 总 结 全 文 并 展望 下 一 步 的 研究 内 容 。 

本 书 第 1 章 至 第 5 章 由 程 远航 编写 ， 第 6 章 至 第 10 章 由 武 刚 编写 。 全 书 由 程 远航 统 稿 。 

作者 的 能 力 水 平和 学 识 有 限 ， 本 书 内 容 如 有 不 足 之 处 ， 奶 请 读者 批评 指正 。 反 馈 邮 
箱 : wkservice@vip.163.com。 
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2016 年 3 月 
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本 章 对 无 人 机 及 其 遥感 系统 做 了 简单 的 介绍 ， 针 对 遥感 技术 中 的 图 像 匹配 和 融合 ， 给 
予 综述 性 的 论述 ， 使 读者 能 对 无 人 机 遥感 系统 及 其 图 像 处 理 有 宏观 的 认识 和 了 解 。 


1.1 无 人 机 


无 人 机 (Unmanned Aerial Vehicle，UAV) 是 一 个 用 于 描述 最 新 一 代 无 人 驾驶 飞机 的 术 
语 。 无 人 机 用 途 广泛 ， 成 本 低 ， 效 费 比 好 ; 无 人 员 伤 亡 风险 ; 生存 能 力 强 ， 机 动 性 能 好 ， 
使 用 方便 ， 在 现代 战争 中 有 极其 重要 的 作用 ， 在 民用 领域 有 广阔 的 前 景 。 无 人 机 分 为 侦察 
机 和 靶 机 。 侦 察 机 用 于 完成 战场 侦察 和 监视 、 定 位 校 射 、 毁 伤 评估 、 电 子 战 等 ， 也 可 民 
用 ， 如 边境 巡逻 、 核 辐射 探测 、 航 空 摄影 、 航 空 探矿 、 灾 情 监视 、 交 通 巡 逻 、 治 安 监控 
等 ， 靶 机 可 作为 火炮 、 导 弹 的 邯 标 。 

最 早 的 无 人 机 开发 是 在 第 一 次 世界 大 战 后 ， 并 在 第 二 次 世界 大 战 中 将 无 人 靶 机 用 于 训 
练 防 空 炮 手 。 第 二 次 世界 大 战 之 后 将 多 余 或 者 退役 的 飞机 改装 成 特殊 研究 用 途 飞 机 或 者 靶 
机 ， 近 代 无 人 机 开始 投入 使 用 。 近 30 年 来 ， 随 着 微 电 子 、 通 信 、 材 料及 推进 系统 等 技术 的 
迅猛 发 展 ， 世 界 各 国 开始 重视 无 人 机 的 研究 与 发 展 ， 无 人 机 得 到 了 长 足 的 进步 。 在 越南 战 
争 期 间 ， 美 国 曾经 使 用 大 量 的 无 人 机 对 高 价值 或 者 防御 严密 的 目标 进行 侦察 ， 以 减少 人 员 
伤亡 的 风险 。1982 年 ， 以 色 列 航空 工业 公司 (AD 首创 以 无 人 机 担任 其 他 角色 的 军事 任务 。 
在 黎巴嫩 战争 期 间 ， 侦 察 用 无 人 机 曾经 在 以 色 列 陆军 和 空军 的 服役 中 担任 重要 角色 ， 完 成 
侦察 、 情 报 收集 、 跟 踪 和 通信 等 任务 。 由 于 无 人 机 成 本 低廉 ， 灵 活 机 动 性 强 ， 使 用 中 不 存 
在 人 员 伤 亡 的 风险 ， 因 此 得 到 了 美国 军 方 的 高 度 重 视 。 最 初 的 无 人 机 以 侦察 机 为 主 ， 在 
1991 年 的 沙漠 风暴 作战 中 ， 美 军 曾经 发 射 小 型 无 人 机 作为 诱饵 ， 专 门 用 于 欺骗 敌 方 的 雷达 
系统 。 目 前 ， 一 些 无 人 机 已 经 装备 了 武器 (例如 RQ 一 1 捕食 者 装备 、AGM 一 114 地 狱 火 空 对 
地 导弹 )， 装 备 有 武器 的 无 人 机 被 称 为 无 人 战斗 机 (UCAV)， 可 执行 更 多 的 战斗 飞行 任务 。 
美国 军队 曾 购买 或 自制 先锋 无 人 机 在 对 伊拉克 的 第 二 次 和 第 三 次 海湾 战争 中 完成 作战 任 
务 。 对 于 非 军 用 无 人 机 的 商业 兴趣 ， 导 致 一 些 企业 致力 于 设计 和 销售 自主 飞行 器 。 

目前 ， 世 界 上 已 有 50 多 个 国家 研制 出 50 多 种 无 人 机 ， 无 人 机 型 号 超过 300 余 种 ， 主 
要 用 于 国防 安全 和 军事 侦察 等 目的 ， 如 美国 洛克 希 德 。 马 丁 和 波音 公司 联合 制造 的 
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Darkstar， 美 国 通用 原子 能 公司 的 Pradator， 以 色 列 飞机 工业 公司 的 Heron， 以 及 意大利 阿 菜 
尼 亚 公司 的 Mirach 等 。 最 为 著名 的 是 美国 研制 的 “全 球 鹰 ” 无 人 机 ， 它 是 现 有 无 人 机 中 最 大 
的 一 种 ， 主 要 用 于 执行 高 室 、 远 程 和 长 航 时 连续 监视 侦察 任务 ， 能 近 实 时 地 提供 高 分 辩 率 
地 面 图 像 。 

MQ 一 8B“ 火 力 侦察 兵 ” 垂 直 起 降 无 人 机 、 美 国 RQ 一 1“ 掠 夺 者 ”无 人 机 、 美 国 RQ 一 4 
“全 球 诠 ” 无 人 机 、 美 制 捕食 者 B 无 人 机 ， 分 别 如 图 1-1、 图 1-2、 图 1-3、 图 1-4 所 示 。 





图 1-1 MQ 一 8B“ 火 力 侦察 兵 ” 垂 直 起 降 无 人 机 





图 1-2 美国 RQ 一 1“ 掠 夺 者 ”无 人 机 





图 1-3 美国 RQ 一 4“ 全 球 座 ” 无 人 机 
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图 1-4 ”美制 捕食 者 B 无 人 机 


我 国 的 无 人 机 工业 起 步 虽 然 较 晚 ， 但 发 展 迅 速 。 目 前 ， 多 家 科研 院 所 和 公司 研制 了 
各 种 类 型 的 无 人 机 ， 如 南京 航空 航天 大 学 研制 的 “ 翔 鸟 ” 无 人 直升机 ， 北 京 航空 航天 大 学 
研制 的 “长 虹 ” 机 载 发 射 、 高 速度 多 用 途 无 人 机 ， 中 国 测绘 科学 研究 院 研制 的 UAVRS 一 
开 型 民用 遥感 无 人 机 ， 北 京 维 思 韦 尔 航 电 有 限 责任 公司 推出 的 “第 鹰 一 2”“ 蜂 鸟 一 1” 和 
“小 鱼 一 2” 等 型 号 无 人 机 以 及 贵 航 集团 研制 生产 的 大 型 无 人 机 。 国 内 无 人 机 的 研究 发 展 
在 总 体 设计 、 飞 行 控制 、 组 合 导航 、 中 继 数 据 链 路 通信 系统 、 传 感 器 技术 、 图 像 传输 、 
生产 制造 和 部 队 使 用 等 诸多 技术 领域 积累 了 一 定 的 经 验 ， 具 备 了 一 定 的 技术 基础 。 特 
别 是 近 几 年 ， 一 批 新 型 无 人 机 装备 相继 研制 成 功 并 交付 使 用 ， 无 人 机 装备 体系 结构 也 有 
了 较 大 的 改善 ， 但 从 总 体 水 平 上 来 说 ， 我 国 无 人 机 装备 技术 同 发 达 国 家 相 比 仍 有 较 大 的 
差距 。 


1.2 KAMMERER 


由 于 无 人 机 具有 机 动 灵活 、 快 速 反应 等 特点 ， 以 无 人 机 为 飞行 载体 的 航空 愧 感 系统 ， 
作为 一 种 新 型 高 分 辩 率 对 地 观测 系统 ， 已 成 为 对 地 观测 系统 的 重要 组 成 部 分 。 无 人 机 航空 
遥感 系统 具有 可 低空 飞行 、 图 像 分 辨 率 高 、 续 航 时 间 长 、 图 像 实 时 传输 、 适 合 高 危 地 区 作 
业 、 成 本 低 、 机 动 灵 活 等 优点 ， 适 用 于 低空 高 分 辩 率 的 遥感 数据 的 实时 获取 。 在 区 域 性 、 
工程 性 、 灾 害 性 和 军事 性 的 遥感 监测 中 发 挥 着 大 型 遥感 系统 难以 蔡 代 的 作用 ， 在 某 些 特殊 
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的 应 用 场合 尤为 重要 。 随 着 成 像 传感器 技术 的 发 展 ， 无 人 机 航空 遥感 系统 所 获取 的 图 像 数 
据 包括 灰 度 、 彩 色 、 视 频 图 像 等 多 种 形式 。 为 了 满足 实际 应 用 的 需要 ， 实 现 图 像 实时 监 
测 ， 图 像 监控 系统 应 具备 可 以 自动 、 高 速 地 完成 图 像 的 获取 、 压 缩 、 传 输 、 处 理 、 显 示 以 
及 存储 等 功能 ， 以 保证 地 面 接收 系统 能 够 迅速 、 准 确 地 获得 遥感 图 像 数 据 ， 用 于 观察 、 决 
策 以 及 相关 后 续 处 理 。 在 高 危 地 区 探测 、 边 防 监控 、 地 面目 标 攻击 等 应 用 中 ， 无 人 机 遥感 
图 像 处 理 的 精准 性 、 可 视 性 与 实时 性 是 无 人 机 能 否 得 以 有 效 利用 的 决定 性 因素 。 

作为 一 种 特殊 的 飞行 载体 ， 无 人 机 的 飞行 特性 复杂 、 飞 行 速度 较 快 、 成 像 条 件 多 变 ， 
因此 具有 更 为 复杂 的 图 像 运 动 特性 。 无 人 机 多 在 某 一 局 部 地 区 完成 监测 任务 ， 在 特殊 目的 
下 需要 对 地 面目 标 进行 实时 跟踪 飞行 ， 需 要 低空 、 盘 旋 飞 行 ， 飞 行 姿态 多 变 ， 飞 机 与 地 面 
景物 之 间 的 相对 运动 显著 ， 成 像 载荷 获得 的 图 像 产生 较 大 的 畸变 和 直线 、 旋 转运 动 模糊 。 
受 特殊 天 气 和 光照 、 相 机 离 焦 等 因素 的 影响 ， 获 取 的 遥感 图 像 会 出 现 对 比 度 低 、 模 糊 甚至 
遮挡 现象 。 图 像 质量 的 降低 ， 不 仅 使 地 面 人 员 无 法 清晰 观察 地 面 情况 ， 也 不 利于 图 像 的 后 
续 处 理 与 分 析 ， 如 目标 跟踪 和 定位 等 。 随 着 无 人 机 飞行 速度 、 遥 感 图 像 的 分 辨 率 、 数 据 采 
样 频 率 和 通信 频带 宽度 的 不 断 提高 ， 海 量 遥 感 图 像 数据 的 自动 、 高 速 、 高 质量 的 实时 处 理 
已 成 为 急需 解决 的 关键 问题 。 针 对 以 上 问题 进行 研究 ， 解 决 相关 的 关键 技术 问题 ， 建 立 高 
性 能 的 航空 愧 感 图 像 处 理 系统 ， 将 为 无 人 机 遥感 监测 系统 的 广泛 应 用 提供 前 提 与 基础 ， 具 
有 重要 的 学 术 价 值 和 紧迫 的 实际 意义 。 

由 于 无 人 机 特殊 的 飞行 特性 和 对 图 像 监 控 系 统 的 特殊 功能 、 性 能 要 求 ， 无 人 机 遥感 
图 像 监控 系统 与 一 般 的 图 像 处 理 系统 相 比 有 所 不 同 ， 主 要 表现 在 以 下 几 个 方面 : COEUR 
据 采 样 周期 短 、 分 辨 率 高 、 数 据 量 大 ;@@ 对 于 监测 目的 遥感 图 像 处 理 有 更 高 的 实时 性 能 要 
求 ，@ 遥 感 图像 传 输 和 处 理 过 程 中 要 求 数据 损失 小 ， 处 理 精度 高 。 因 此 ， 在 无 人 机 遥感 图 
像 监控 系统 的 构建 和 实现 上 都 存在 很 多 需要 进一步 研究 和 解决 的 问题 ， 对 图 像 的 实时 处 理 
和 分 析 这 一 研究 领域 带 来 了 一 项 艰巨 挑战 。 近 年 来 ， 一 些 以 小 型 无 人 机 或 无 人 飞艇 等 为 拱 
载 平台 的 轻 小 型 航空 禹 感 监测 系统 虽然 已 经 建立 ， 但 由 于 成 像 条 件 、 处 理 方法 的 限制 ， 在 
成 像 质量 和 处 理 速度 方面 仍然 无 法 实现 高 水 平和 高 效能 的 实时 遥感 图 像 监控 作业 。 

针对 实时 图 像 处 理 的 客观 迫切 要 求 ，20 世 纪 70 年 代 以 来 ， 国 际 上 逐渐 将 数字 图 像 处 
理 技术 的 研究 重点 放 在 实时 图 像 处 理 技术 上 ， 这 是 因为 针对 动态 图 像 只 有 在 实时 处 理 时 才 
有 实际 应 用 价值 。20 世 纪 80 年 代 初期 ， 美 国 陆军 夜 视 电 子 实验 室 、 海 军 电子 系统 司令 部 、 
海 空 研究 所 、 海 空 研究 中 心 、 美 国 国家 宇航 局 以 及 一 些 大 型 电子 公司 和 高 等 院 校 都 致力 于 
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开展 实时 图 像 处 理 技术 的 理论 和 应 用 研究 。20 世 纪 80 年 代 中 期 以 来 ， 美 国 已 在 该 领域 取得 
重大 进展 ， 其 三 军 的 微 光 和 红外 观察 系统 、 制 导 武 器 、 航 空 航天 等 都 在 不 同 程度 上 应 用 了 
实时 图 像 处 理 技术 。 此 外 ， 德 国 、 以 色 列 等 在 图 像 实时 配 准 处 理 技术 方面 也 取得 了 较 大 的 
进展 ， 推 出 了 一 些 相关 产品 。 美 国 的 科研 机 构 在 无 人 机 航空 禹 感 图 像 处 理 领 域 起 步 较 早 ， 
进行 了 大 量 的 高 分 辨 率 航 空 禹 感 图 像 的 科学 研究 与 开发 利用 工作 ， 并 已 取得 较 多 的 应 用 成 
果 ， 如 利用 无 人 机 遥感 高 分 辩 率 图 像 采 样 能 力 应 对 紧急 安全 事件 、 农 业 监测 、 实 时 森林 火 
情 监测 、 军 事 侦察 等 。 

无 人 机 遥感 图 像 实 时 处 理 技术 ， 同 样 得 到 了 我 国 科研 人 员 的 普遍 关注 ， 国 内 多 家 科 
研 院 所 、 高 校 都 进行 了 相关 的 研究 工作 。2001 年 3 月 ， 中 国 科 学 院 空间 科学 与 应 用 研究 中 
心 在 实验 室 环境 下 利用 计算 机 和 天 线 卫 星 模拟 了 从 图 像 生成 到 压缩 、 加 密 、GPS 复 合 、 发 
送 、 接 收 等 实时 传输 过 程 ， 取 得 了 良好 的 仿真 实验 效果 。2002 年 6 月 ， 中 国 测绘 科学 研究 
院 完成 无 人 机 遥感 监测 系统 UAVRS 一 II 的 研制 ， 实 现 了 机 载 蜗 感 设备 、 遥 感 设备 控制 系 
统 、 地 面 监控 系统 的 集成 ， 并 开发 了 图 像 后 处 理 软 件 。2004 年 7 月 ， 中 国 国防 科技 大 学 通 
过 对 遥感 图 像 预 处 理 算法 的 可 并 行 性 分 析 ， 提 出 了 对 适用 于 大 数据 量 遥 感 图 像 实时 预 处 理 
的 分 布 并 行 处 理 系统 的 结构 设计 方案 。 同 年 12 月 ， 浙 江 大 学 地 球 科学 系 GIS 重 点 实验 室 设 
计 并 实现 了 有 自主 版 权 的 大 数据 量 遥 感 图 像 数 字 处 理 系统 MAMS 的 算法 模块 ， 并 提出 了 
优化 算法 。 青 岛 天 骄 公司 科研 人 员 在 囊 业 立 院士 的 带领 下 ， 成 功 研制 了 我 国 首 个 50 公 斤 级 
“TJ 一 1 型 无 人 机 遥感 快速 监测 系统 ”， 它 可 在 一 定 程度 上 满足 对 突 发 性 事件 应 急 动 态 监 
测 和 小 范围 大 比例 尺 制 图 的 需要 。 北 京 大 学 与 贵 航 集团 共同 研制 、 中 科 院 遥感 所 协助 参与 
的 多 用 途 无 人 机 遥感 系统 ， 完 成 怕 感 图 像 系统 的 集成 设计 、 空 中 遥感 控制 子 系统 以 及 地 面 
数据 接收 分 发 子 系统 的 研制 工作 ， 集 成 遥感 成 像 、 数 据 处 理 、 接 口 与 通信 等 多 方面 技术 ， 
初步 解决 了 高 分 辩 率 数据 的 获取 、 存 储 、 传 输 、 显 示 等 基本 问题 ， 并 于 2005 年 8 月 在 安顺 
黄果树 机 场 首 飞 实验 成 功 ， 标 志 着 我 国 工业 型 无 人 机 的 遥感 技术 进入 实用 阶段 。 对 于 无 人 
机 禹 感 图 像 实 时 处 理 的 研究 工作 ， 我 国 的 研究 工作 虽然 已 取得 初步 的 成 果 ， 但 多 以 实验 室 
研究 或 试验 系统 为 主 ， 产 品 化 的 成 果 极 少 ， 与 发 达 国 家 相 比 仍然 存在 一 定 的 差距 ， 仍 有 很 
多 工作 需要 进一步 完善 和 提高 。 
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无 人 机 在 执行 还 感 监测 任务 时 ， 在 飞行 过 程 中 将 获取 的 图 像 数 据 和 飞行 状态 参数 实时 
传输 给 地 面 ， 由 地 面 专家 对 获取 的 地 面 图 像 进行 观察 和 分 析 。 通 常情 况 下 ， 由 于 成 像 设备 
性 能 所 限 ， 无 法 获得 大 面积 的 区 域 图 像 ， 因 此 需要 将 获取 的 序列 遥感 图 像 或 视频 图 像 实现 
实时 拼接 并 显示 ， 以 保证 地 面 专家 全 面 掌 握 地 面目 标 情况 以 做 出 正确 的 相应 控制 决策 。 给 
定 某 个 场景 的 一 组 互相 有 重 倒 的 局 部 图 像 ， 生 成 包含 这 组 局 部 图 像 的 一 幅 完 整 的 宽 视 场 图 
像 ， 称 为 图 像 拼接 。 图 像 拼接 在 全 景 图 像 的 构成 、 地 球 卫星 照片 合成 、3D 立 体 模型 的 构 
造 、 遥 感 图 像 处 理 、 医 学 图 像 分 析 和 计算 机 视觉 等 方面 都 有 很 重要 的 应 用 。 一 般 来 说 ， 把 
要 拼接 的 图 像 分 别称 为 参考 图 像 和 待 拼 接 图 像 ， 往 往 通 过 寻找 待 拼接 图 像 与 参考 图 像 之 间 
的 联系 来 确定 拼接 过 程 中 可 能 会 出 现 的 参数 。 图 像 拼 接 是 遥感 图 像 应 用 的 重要 研究 内 容 之 
一 ， 特 别 是 对 于 较 大 范围 的 卫星 遥感 和 区 域 性 航空 遥感 而 言 ， 目 标 区 域 往往 不 能 由 一 幅 图 
像 所 覆盖 ， 因 此 ， 需 要 由 多 幅 图 像 进行 拼接 ， 形 成 较 大 范围 的 遥感 图 像 。 图 像 拼接 需要 在 
相 邻 两 幅 图 像 的 重 双 区域 中 搜索 并 匹配 相同 的 图 像 内 容 ， 从 而 确定 两 幅 图 像 之 间 的 相对 位 
置 关 系 ， 实 现 相 邻 两 幅 图 像 对 接 处 理 。 从 实现 方法 上 划分 ， 图 像 拼 接 可 分 为 手动 拼接 和 自 
动 拼接 两 类 。 手 动 拼接 容易 使 拼接 后 的 图 像 在 接 缝 处 出 现 错位 或 整体 图 像 的 各 区 域 颜 色 不 
一 致 的 现象 ， 无 法 有 效 地 保证 图 像 的 质量 和 拼接 工作 效率 。 利 用 计算 机 实现 图 像 的 自动 拼 
接 ， 可 提高 拼接 的 质量 和 效率 ， 已 成 为 图 像 拼 接 处 理 中 的 主要 研究 内 容 。 图 像 拼 接 过 程 中 
需要 进行 大 量 的 数值 计算 ， 如 何 实现 快速 、 精 确 的 图 像 拼接 ， 是 当前 图 像 拼 接 研 究 领域 的 
一 个 关键 问题 。 

图 像 拼接 通常 可 以 分 成 两 个 步骤 : 配 准 (Registration) 和 融合 (Blending)。 配 准 的 目的 是 
根据 几何 运动 模型 ， 将 图 像 注册 到 同一 个 坐标 系 中 。 融 合 则 是 将 配 准 后 的 图 像 合 成 一 张大 
的 拼接 图 像 。 

配 准 可 以 分 成 两 个 步骤 : 局 部 配 准 和 全 局 配 准 。 局 部 配 准 是 求解 相 邻 两 幅 图 像 间 的 运 
动 关系 ， 通 常 是 求解 二 维 平面 运动 关系 : 对 应 矩阵 。 全 局 配 准 是 处 理 多 幅 图 像 拼 接 到 一 起 
的 误差 累积 以 实现 多 幅 图 像 的 精确 拼接 。 融 合 需要 将 源 图 像 的 像素 结合 起 来 生成 拼接 平面 
上 的 像素 ， 实 现 相 邻 图 像 间 自然 的 过 渡 。 
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1.3.1 图 像 匹配 技术 


1. 基于 灰 度 相关 的 匹配 

基于 灰 度 相关 的 匹配 是 在 待定 点 为 中 心 的 窗口 内 ， 以 图 像 的 灰 度 分 布 为 匹配 的 内 
容 ， 故 称 之 为 灰 度 匹配 ， 又 因为 匹配 是 以 划分 的 图 像 块 为 单位 进行 的 ， 所 以 又 称 为 块 匹配 
(Block Matching)。 这 类 算法 的 性 能 主要 取决 于 相似 性 度量 准则 及 搜索 策略 的 选择 。 相 似 
性 度量 是 指 用 什么 度量 来 确定 待 匹配 特征 之 间 的 相似 性 ， 它 通常 定义 为 某 种 代价 函数 或 者 
距离 函数 的 形式 。 经 典 的 相似 性 度量 包括 灰 度 差 的 绝对 值 平方 和 (SSD)、 灰 度 差 的 绝对 值 
和 (SAD) 和 相关 函数 等 。 近 年 ， 人 们 又 提出 了 Hausdorff 距 离 (HD)、 互 信息 作为 匹配 度量 。 
传统 的 Hausdorff 距 离 对 噪声 非常 敏感 ， 分 数 Hausdorff 距 离 能 处 理 当 目标 存在 遮挡 和 出 格 点 
的 情况 ， 但 计算 费时 ， 用 HD 进 行 图 像 匹 配 存在 的 最 大 问题 是 匹配 的 鲁 棒 性 较 差 。 为 此 ， 
研究 者 对 经 典 的 Hausdorff 距 离 做 了 一 系列 改进 以 提高 匹配 的 鲁 棒 性 。 有 学 者 "提出 了 一 种 
和 鲁 棒 型 Hausdorff 距 离 ， 除 了 利用 边缘 点 的 位 置信 息 外 ， 还 考虑 了 其 他 类 型 的 信息 。 当 图 
像 降 质 或 出 现 出 格 点 或 遮挡 等 现象 时 ， 此 距离 具有 较 好 的 鲁 棒 性 ; 基于 互信 息 的 方法 因 其 
对 于 光照 的 改变 不 敏感 而 在 医学 图 像 匹 配 等 领域 得 到 广泛 的 应 用 ， 但 也 存在 计算 量 大 的 问 
题 。 由 于 基于 灰 度 匹配 算法 的 计算 量 大 ， 为 了 提高 计算 速度 ， 人 们 提出 了 很 多 搜索 方法 ， 
其 中 著名 的 有 : 三 步 法 (Tss，Three-step search)ng、 四 步 法 (FEss，Four-step search)'?. fé] 
法 、 二 维 对 数 法 、 交 叉 法 和 菱形 法 等 。 这 些 算法 通过 设计 不 同 的 搜索 模板 和 搜索 策略 ， 在 
计算 复杂 度 上 比 完全 搜索 减 小 了 很 多 ， 但 在 搜索 的 准确 性 上 比 不 上 全 搜索 。 有 学 者 "" 对 梯 
度 法 进行 了 改进 ， 基 本 思想 是 首先 对 当前 块 在 参考 帧 中 的 起 始 搜索 点 进行 预测 ， 然 后 再 用 
SGDS(Square Gradient Descent Search) 模 板 进 行 估计 。 与 传统 的 搜索 方法 相 比 ， 该 方法 可 减 
少 搜索 点 数 并 提高 信 噪 比 。 匹 配 窗口 大 小 的 选择 是 基于 灰 度 相关 的 匹配 方法 必须 考虑 的 问 
题 ， 大 窗口 在 遮挡 或 景物 深度 不 连续 的 情况 下 会 出 现 误 匹配 ， 小 窗口 不 能 覆盖 足够 的 强度 
变化 ， 因 此 自 适 应 调整 匹配 窗口 的 大 小 可 达到 较 好 的 效果 。 通 过 比较 参考 图 像 和 输入 图 像 
在 各 个 位 置 的 相关 系数 ， 取 相关 值 最 大 的 点 就 是 最 佳 匹配 位 置 。 基 于 图 像 灰 度 信息 的 匹配 
方法 比较 直观 ， 容 易 实现 ， 并 且 具 有 以 下 优点 。 

(1) 不 需要 额外 计算 抽取 图 像 的 特征 ， 可 以 避免 由 于 特征 抽取 所 引入 的 参数 估计 误差 。 

(2) 可 以 很 好 地 处 理 具有 丰富 纹理 特征 的 区 域 ， 而 基于 特征 的 匹配 算法 对 具有 较 强 纹 
理 的 图 像 处 理 效果 较 差 。 
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(3) 它 所 利用 的 信息 量 是 最 大 的 ， 区 分 不 同 对 象 的 能 力 强 、 精 度 高 ， 特 别 是 在 十 分 复 
杂 的 图 像 环境 和 要 求 高 精度 的 应 用 领域 仍 能 够 有 效 地 工作 。 然 而 ， 在 待 检测 图 像 中 以 模板 
位 置 为 中 心 ， 相 似 性 度量 值 有 时 会 形成 比较 平缓 的 相关 曲线 ， 此 时 要 找到 准确 的 匹配 位 置 
难度 很 大 。 而 且 ， 图 像 的 灰 度 值 通常 会 受到 光照 条 件 的 影响 ， 非 线性 的 不 均匀 光照 会 造成 
最 终结 果 的 较 大 偏差 。 同 时 ， 图 像 的 比例 变化 、 旋 转 、 谈 挡 等 都 会 影响 匹配 结果 。 此 外 ， 
基于 灰 度 相关 的 匹配 计算 量 大 ， 很 难 达到 实时 性 要 求 。 

2. 基于 特征 的 匹配 

为 了 克服 基于 灰 度 相关 匹配 方法 的 缺点 ， 人 们 提出 了 基于 特征 的 匹配 方法 。 该 类 方法 
首先 从 待 配 准 的 图 像 中 提取 特征 ， 用 相似 性 度量 和 一 些 约束 条 件 确定 几何 变换 ， 最 后 将 该 
变换 作用 于 待 匹 配 图 像 。 匹 配 中 常用 的 特征 有 边缘 、 轮 廊 、 直 线 、 点 、 颜 色 、 纹 理 等 ， 下 
面 就 特征 点 、 线 特征 和 算 特 征 的 匹配 进行 介绍 。 

(1) 基于 特征 点 的 匹配 。 人 们 早先 是 使 用 图 像 的 边缘 特征 进行 匹配 ， 但 是 边缘 的 计算 
比较 费时 ， 后 来 又 提出 用 信息 量 高 、 数 量 相对 少 的 特征 点 代替 边缘 来 计算 两 幅 图 像 之 间 的 
相似 性 。 特 征 点 是 图 像 灰 度 有 较 大 变化 的 一 类 局 部 点 ， 包 含 角 点 、 拐 点 以 及 T 交 叉 点 等 。 
定位 精度 、 重 复 率 和 信息 含量 是 衡量 特征 点 检测 算 子 的 标准 。Moravec"“ 在 1977 年 就 提出 
利用 图 像 灰 度 自 相关 函数 的 兴趣 点 检测 算 子 。Harris 等 人 对 Moravec 算 子 进行 了 改进 ， 提 
出 Harris 角 点 检测 算 子 。Harris 算 子 对 于 图 像 存在 旋转 、 照 明 变 化 和 透视 变形 时 比较 稳定 ， 
因此 得 到 广泛 应 用 。 有 学 者 中 使 用 Harris 检 测 器 提取 特征 点 ， 通 过 变 归 一 化 相关 ， 沿 极 线 
寻找 一 幅 图 像 中 兴趣 点 的 对 应 点 ， 接 着 利用 第 三 幅 图 像 来 得 到 更 准确 的 对 应 ，Jane® "提出 
了 基于 小 波 变换 的 分 层 图 像 匹配 算法 ， 在 分 解 后 的 每 一 层 图 像 中 提取 特征 点 进行 匹配 ， 用 
并 行 策略 进一步 提高 速度 。 最 近 ，Lowe 叫 提出 的 尺度 不 变 的 SXRT 算 子 ， 它 在 图 像 发 生平 
移 、 旋 转 、 缩 放 及 一 些 光 照 条 件 变 化 的 情况 下 ， 仍 能 够 保持 不 变 ， 具 有 很 好 的 鲁 棒 性 。 

Q) 基于 线 特征 的 匹配 。 线 特征 是 图 像 中 明显 的 线段 特征 ， 包 括 一 般 的 线段 、 物 体 的 
轮廓 、 道 路 和 海岸 线 等 。 线 的 对 应 一 般 表 示 为 线 的 端点 或 中 点 的 对 应 。 现 有 的 图 像 边 缘 提 
取 方 法 可 以 分 为 三 大 类 : 第 一 类 是 局 部 算 子 法 ， 这 类 方法 属于 经 典 的 边缘 提取 方法 ， 常 借 
助 空域 微分 算 子 进行 ， 通 过 将 算 子 与 图 像 卷 积 完成 ， 这 些 算 子 包括 Roberts 算 子 、Kirsch 算 
子 、Sobel 算 子 、Prewitt 算 子 、Canny 算 子 和 LOG 算 子 等 ， 第 二 类 是 以 能 量 最 小 化 为 准则 的 
全 局 提取 方法 ， 它 的 特征 是 运用 严格 的 数学 方法 对 此 问题 进行 分 析 ， 给 出 代价 函数 作为 最 
优 提 取 依 据 ， 从 全 局 最 优 的 观点 提取 边缘 ， 如 最 小 代价 函数 法 5、 动态 规划 法 53?、 神 
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经 网 络 分 析 法 "等 ， 第 三 类 是 基于 小 波 变换 "、 数 学 形态 学 中 等 近年 发 展 起 来 的 新 理 
论 的 图 像 边缘 提取 方法 。 

G) 基于 算 特征 的 匹配 。 和 矩 作 为 图 像 的 一 种 形状 特征 ， 己 经 广泛 应 用 于 计算 机 视觉 和 
模式 识别 等 领域 。 有 学 者 四 在 代数 不 变量 的 基础 上 首先 提出 几何 矩 的 概念 ， 并 使 用 几何 矩 
的 非 线性 组 合 ， 推 导出 具有 尺度 、 平 移 和 旋转 不 变性 的 矩 不 变量 。 几 何 矩 在 信息 元 余 方 面 
存在 欠缺 ， 而 且 对 噪声 比较 敏感 。 后 来 ， 人 们 又 推导 出 正 交 的 Zemike 矩 和 Legendre 矩 。 有 
学 者 史 使 用 矩 不 变量 作为 匹配 特征 ， 模 糊 不 相似 性 作为 匹配 度量 ， 提 出 了 最 优 匹配 理论 并 
加 以 证 明 ，Huang 和 Cohentzs 提 出 了 一 个 曲线 匹配 的 算法 ， 使 用 加 权 B 样 条 曲线 矩 ， 解 决 仿 
射 变换 和 遮挡 问题 。 使 用 矩 的 匹配 方法 无 须 建立 点 的 对 应 信息 ， 它 的 缺点 是 不 能 检测 图 像 
的 局 部 特征 ， 需 要 对 图 像 进行 分 割 ， 而 且 只 适用 于 发 生 刚 体 变换 的 图 像 。 由 于 图 像 的 特征 
比 像素 点 在 数量 上 要 少 很 多 ， 因 此 特征 匹配 可 减少 匹配 的 计算 量 。 同 时 ， 特 征 的 匹配 度量 
值 对 位 置 的 变化 比较 敏感 ， 使 得 匹配 的 精确 度 较 高 。 通 过 特征 的 提取 可 减少 噪声 的 影响 ， 
对 灰 度 变化 、 图 像 形变 以 及 遮挡 等 都 有 较 好 的 适应 能 力 ， 所 以 基于 特征 的 匹配 在 实际 中 
的 应 用 越 来 越 广泛 。 需 要 强调 的 是 ， 特 征 匹 配 和 特征 提取 密切 相关 ， 一 个 稳定 、 准 确 的 
特征 提取 方法 可 以 提高 匹配 的 精确 度 ， 而 特征 提取 引入 的 计算 量 也 会 直接 影响 匹配 算法 的 
效率 。 

3. 基于 模型 的 匹配 

模板 匹配 方法 在 计算 机 视觉 和 模式 识别 等 领域 的 应 用 非常 广泛 ， 它 可 以 分 为 刚体 形 
状 匹配 和 变形 模板 匹配 两 大 类 。 在 刚体 形状 匹配 中 ， 原 型 模板 通过 平移 、 旋 转 和 尺度 化 等 
简单 变换 达到 与 目标 图 像 相 匹配 ， 但 是 它 不 能 处 理 目 标 形状 存在 较 大 变形 的 情况 。 为 此 ， 
人 们 提出 使 用 变形 模板 匹配 方法 。Jain® 将 变形 模型 分 为 自由 式 变 形 模型 和 参数 式 变形 模 
型 。Kass 提 出 的 Snake 模 型 、 主 动 轮廓 模型 吧 是 比较 典型 的 自由 式 变形 模板 模型 。Snake 是 
能 量 极 小 化 的 样 条 ， 模 板 不 包含 目标 的 全 局 结构 ， 它 只 受 局 部 连续 性 和 平滑 约束 。 给 定 初 
始 轮廓 后 ， 它 在 三 种 能 量 的 驱动 下 改变 轮廓 的 位 置 和 形状 : 约束 轮廓 形状 的 内 部 能 量 、 将 
轮廓 吸引 到 显著 特征 的 图 像 力 、 引 导 它 的 行为 的 外 力 。 当 由 上 述 三 项 构成 的 能 量 函 数 最 
小 化 时 得 到 最 终 的 图 像 特征 。 由 于 不 受 全 局 结构 的 限制 ， 所 以 Snake 模 型 能 表示 任意 的 形 
状 ， 但 是 该 模型 对 于 模板 的 初始 位 置 和 噪声 比较 敏感 ， 对 于 四 边缘 的 收敛 性 差 ， 而 且 容 易 
陷入 局 部 最 小 值 。 参 数 化 的 变形 模板 使 用 了 几何 形状 的 一 些 先 验 信息 ， 模 板 用 少量 的 参数 
来 表示 ， 典 型 的 例子 包括 Grenander 模 型 、 活 动 形状 模型 和 Blake 的 活动 轮廓 。 有 两 种 方法 
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可 以 用 来 表示 参数 化 变形 模板 : @ 用 参数 化 曲线 的 集合 表示 ， 模 板 的 几何 形状 通过 改变 参 
数值 而 改变 ，@@O 参 数 映 射 下 的 原型 模板 图 像 ， 它 通过 指定 一 个 原型 模板 来 描述 一 类 目标 的 
形状 ， 该 类 目标 的 各 种 形状 都 是 通过 对 原型 进行 参数 映射 而 得 到 的 ， 不 同 的 参数 值 可 以 得 
到 不 同 的 形状 。 在 上 述 两 种 表示 方法 中 ， 变 形 模板 通过 图 像 力 动态 调整 参数 达到 与 图 像 特 
征 之 间 的 交互 作用 。 与 主动 轮廓 模型 相似 ， 参 数 式 变形 模板 用 内 部 能 量 和 外 部 能 量 的 加 权 
和 构成 的 目标 函数 确定 一 个 变形 模板 和 给 定 图 像 中 目标 的 匹配 程度 。 使 用 主动 轮廓 模型 对 
可 见 光 图 像 和 SAR 图 像 进行 匹配 。 该 方法 首先 提取 可 见 光 图 像 的 轮廓 作为 Snake 的 初始 模 
板 ， 对 该 初始 模板 进行 变形 从 而 提取 SAR 图 像 的 轮廓 ， 之 后 在 提取 出 来 的 两 幅 图 像 的 轮廓 
上 选择 控制 点 计算 变换 参数 。 

4. 频 域 匹配 

此 方法 利用 空域 到 频 域 变 换 的 良好 性 质 : 空域 函数 平移 、 旋 转 和 变 尺 度 在 频 域 都 有 其 
对 应 性 。 对 于 图 像 的 平移 ， 计 算 两 幅 图 像 功 率 谱 的 逆 傅 立 叶 变换 可 得 一 个 脉冲 函数 ， 该 函 
数 仅 在 平移 量 处 不 为 零 。 对 于 旋转 ， 可 使 用 极 坐标 方式 表示 ， 用 相同 方法 计算 图 像 间 的 旋 
转角 度 ， 假 如 图 像 运 动 是 平移 和 旋转 的 混合 运动 ， 可 分 两 步 运算 : 先 计算 旋 转 后 的 平移 ， 
经 过 频 域 变换 ， 两 组 数据 在 空间 上 的 相关 运算 可 以 变 为 在 频 域 上 频谱 的 复数 乘法 运算 。 该 
方法 对 小 平移 量 和 旋转 及 变 尺度 图 像 整 合 非常 适合 ， 并 有 专用 的 硬件 和 快速 算法 ， 因 此 计 
算 速 度 快 ， 同 时 ， 能 克服 相关 性 噪音 和 依赖 频率 噪音 ， 可 适用 多 传感器 和 光源 变化 采集 的 
图 像 。 频 域 匹配 对 噪声 有 较 高 的 容忍 度 ， 检 测 结果 与 照度 无 关 ， 可 处 理 图 像 之 间 的 旋转 和 
尺度 变化 。 另 外 ， 由 于 图 像 在 频 域 中 能 获得 在 空域 中 难以 获得 的 特征 ， 如 傅立叶 变换 的 相位 
特性 在 匹配 中 能 得 到 非常 好 的 输出 信 噪 比 和 输出 最 大 峰值 ， 比 空域 有 更 好 的 精度 和 可 靠 性 。 
除了 传 立 叶 变 换 外 ， 人 们 还 可 以 选择 更 可 靠 、 更 符合 人 眼 视觉 生理 特征 的 Gabor 变 换 四 以 
及 小 波 变换 5 进行 图 像 匹 配 。 在 图 像 匹配 中 应 该 结合 实际 情况 选择 合适 的 方法 进行 匹配 ， 
除了 上 面 提 到 的 分 类 ， 也 会 将 几 种 方法 综合 起 来 得 到 更 好 的 结果 。 在 实现 的 过 程 中 ， 除 了 
原理 ， 还 需要 考虑 诸如 效率 、 精 度 等 一 些 其 他 因素 ， 尤 其 是 搜索 策略 。 搜 索 策略 是 在 保证 
不 影响 匹配 结果 的 同时 ， 用 合适 的 搜索 方法 在 搜索 空间 中 找 出 平移 、 旋 转 等 变换 参数 的 最 
优 估计 ， 使 得 图 像 之 间 经 过 变换 后 的 相似 性 最 大 ， 而 花费 的 时 间 最 少 。 搜 索 策 略 有 穷 举 
搜索 、 分 层 搜索 、 模 拟 退 火 算 法 、Powel 方 向 加 速 法 、 动 态 规划 法 、 遗 传 算法 和 神经 网 络 
等 。 遗 传 算法 采用 非 遍历 寻 优 搜索 策略 ， 可 以 保证 寻 优 搜索 的 结果 具有 全 局 最 优 性 ， 计 算 
量 较 之 遍历 式 搜索 要 少 很 多 ; 神经 网 络 具有 分 布 式 存储 和 并 行 处 理 方式 、 自 组 织 和 自学 习 
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的 功能 以 及 很 强 的 容错 性 和 和 鲁 棒 性 ， 因 此 这 两 种 方法 在 图 像 匹配 中 得 到 较为 广泛 的 使 用 。 
在 成 像 过 程 中 ， 由 于 噪声 及 遮挡 等 原因 ， 导 致 一 幅 图 像 中 的 匹配 基 元 在 另 一 幅 图 像 中 有 多 
个 候选 基 元 得 不 到 对 应 ， 这 些 都 是 初级 视觉 中 的 “不 适 定 问 题 ”。 通 常 ， 通 过 几何 约束 来 
解决 这 种 问题 ， 常 用 的 约束 有 唯一 性 约束 、 连 续 性 约束 、 相 容 性 约束 和 顺序 一 致 性 约束 。 
同时 ， 人 们 还 采用 最 小 二 乘法 和 投票 算法 等 后 处 理 来 有 效 地 消除 假 配 点 和 误 配 点 。 


1.3.2 图像 融合 技术 


图 像 融 合 的 方法 有 很 多 ， 大 致 上 可 以 分 为 以 下 几 类 : 基于 颜色 空间 变换 的 融合 方法 ， 
典型 的 有 IHS 变 换 的 融合 方法 ， 基 于 多 尺度 变换 的 融合 方法 ， 典 型 的 多 尺度 变换 有 小 波 变 
换 、 拉 普 拉 斯 变换 等 ， 基 于 加 权 平 均 的 融合 方法 ， 逻 辑 滤 波 方法 、 数 学 形态 法 、 模 拟 退 火 
法 等 。 应 该 注意 的 是 这 几 类 方法 并 不 是 严格 区 分 的 ， 有 的 方法 是 几 类 方法 的 结合 。 比 如 基 
于 多 尺度 变换 的 融合 方法 ， 在 多 尺度 变换 后 ， 可 以 在 变换 域 上 做 加 权 平 均 进行 融合 。 我 们 
下 面 将 简单 介绍 这 几 类 融合 方法 。 

1. 基于 颜色 空间 变换 的 融合 方法 

IHS 变 换 是 这 类 方法 中 最 常用 的 颜色 空间 变换 。 这 种 方法 多 用 在 高 分 辨 率 的 SPOT 图 与 
分 辨 率 较 低 但 具有 丰富 颜色 细节 的 TM 图 之 间 的 融合 。 它 的 做 法 是 将 TM 图 从 RGB 的 颜色 空 
间 变 换 到 IHS(Intensity Hue Saturation)， 称 为 HS Value、HSI 或 HIS 空 间 ， 然 后 对 TM 图 进行 
高 分 辩 率 重 采样 ， 将 得 到 的 及 和 85 分量 放 到 SPOT 图 的 相关 像素 上 ， 而 原 SPOT 图 的 颜色 分 量 
则 取 为 分量， 然后 变换 回 RGB 空 间 ， 完 成 融合 。 这 里 可 能 会 有 一 些 变 化 ，TM 图 的 /分 量 
与 SPOT 图 可 以 采取 某 种 方式 (如 加 权 平均 ) 进 行 融合 ， 而 不 是 蔡 代 ， 这 种 方式 在 待 融合 的 图 
像 分 辨 率 相同 或 相近 的 情况 下 用 得 比较 多 。 还 有 一 种 更 简单 的 方法 ， 就 是 在 待 融合 图 像 的 
各 个 颜色 分 量 中 选取 重要 的 颜色 分 量 作为 结果 图 像 RGB 中 的 某 一 分 量 。 我 们 称 这 种 方法 为 
多 通道 彩色 融合 法 。 

2. 加 权 平 均 的 融合 方法 

几乎 所 有 的 融合 方法 在 最 终 融 合 时 都 可 能 采用 加 权 平 均 的 融合 方法 ， 加 权 平 均 可 以 在 
空域 和 变换 域 上 进行 。 加 权 平 均 的 融合 方法 的 关键 是 加 权 系 数 的 选择 ， 可 分 为 权 系 数 全 局 
一 致 和 自 适 应 的 求 取 权 系 数 方法 。PCA 融 合 方法 也 是 一 种 加 权 平 均 方 法 ， 它 根据 多 幅 图 像 
的 协 方差 矩阵 计算 其 加 权 系数 ， 权 系数 对 所 有 像素 取 为 一 致 。 目 前 ， 我 们 更 多 地 采用 自 适 
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应 加 权 平 均 的 融合 方法 。 加 权 平 均 法 的 优点 是 简单 直观 ， 适 合 实时 处 理 。 但 简单 的 全 加 会 
使 合成 图 像 的 信 噪 比 降低 ; 当 融 合 图 像 的 灰 度 差异 很 大 时 ， 就 会 出 现 明显 的 拼接 痕迹 ， 不 
利于 人 眼 识别 和 后 续 的 目标 识别 过 程 。 
3. 基于 多 尺度 变换 的 融合 方法 
这 类 方法 是 近 几 年 图 像 融 合 方法 研究 的 热点 ， 有 学 者 对 这 类 方法 进行 了 归纳 总 结 ， 
给 出 这 类 方法 的 基本 框架 ， 以 两 幅 输 入 图 像 为 例 ，G.Piella 提 出 的 图 像 融 合 框架 的 框图 ， 
如 图 1-5 所 示 。ys、ys 为 输入 图 像 的 多 分 辨 率 分 析 系 数 ， 虚 线 框 内 为 融合 规则 ， 可 分 为 4 部 
分 : 活性 因子 、 匹 配 因子 、 系 数 择 取 和 系数 合成 。 活 性 因子 和 匹配 因子 用 以 提取 多 分 辨 率 
分 析 系 数 的 特征 信息 ， 这 些 特征 信息 可 用 于 系数 择 取 ， 从 而 得 到 相应 的 择 取 因 子 ， 然 后 利 
用 择 取 因子 通过 系数 合成 得 到 融合 图 像 的 多 分 辩 率 分 析 系 数 ， 最 后 通过 多 分 辩 率 分 析 逆 运 
算得 到 最 后 的 融合 图 像 。 
A B 
| | 


了 
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多 分 辩 率 分 析 逆 运算 


图 1-5 ”图像 融合 示意 图 
多 尺度 融合 方法 主要 有 两 个 步骤 : 多 尺度 分 解 和 融合 规则 。 多 尺度 分 解 有 很 多 选择 ， 
如 小 波 分 解 、 拉 普 拉 斯 金字 塔 分 解 、 梯 度 金字 塔 分 解 等 。 在 完成 分 解 后 得 到 图 像 的 一 种 多 
分 辨 率 表 示 ， 可 以 采用 金字 塔 结构 来 组 织 ， 之 后 的 融合 在 这 个 结构 上 进行 。 不 同 算法 的 
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融合 规则 虽然 五 花 八 门 ， 但 其 目的 都 是 突出 特征 ， 既 要 保留 图 像 的 边缘 信息 ， 也 要 保持 
图 像 原 有 的 光滑 性 。 为 了 刻画 图 像 的 特征 和 边缘 信息 ， 引 入 活性 因子 度量 (Activity Level 
Measure); 而 为 了 保证 融合 图 像 有 一 定 的 光滑 性 ， 我 们 需要 考察 待 融合 图 像 相 同位 置 的 相 
关 程度 ， 因 此 这 里 我 们 引入 匹配 因子 度量 。 通 过 活性 因子 和 匹配 因子 来 共同 决定 如 何 融合 
图 像 ， 通 常 由 它们 来 决定 融合 的 加 权 系数 。 

4. 逻辑 滤波 方法 

逻辑 滤波 方法 是 将 两 个 像素 数据 通过 某 种 逻辑 运算 合成 一 个 像素 的 一 种 直观 方法 。 例 
如 ， 当 两 个 像素 的 值 都 大 于 某 一 阔 值 时 ，“ 与 ”滤波 器 输出 为 “1”( 为 “ 真 ”)。 图 像 通 
过 “与 ”滤波 器 而 获得 的 特征 可 认为 是 图 像 中 十 分 显著 的 成 分 。 同 样 地 ，“ 或 ”逻辑 操作 
能 可 靠 地 分 割 一 幅 图 像 。 

5. 数学 形态 法 

数学 形态 法 是 指 通过 从 基本 算 子 即 并 、 交 、 差 、 条 件 加 推演 出 来 的 一 套数 学 形态 算 子 
如 膨胀 、 腐 蚀 等 ， 对 图 像 进行 处 理 。 若 两 个 集合 互相 支持 ， 则 通过 集合 从 两 个 特征 集中 提 
取出 高 置信 度 的 “ 核 ” 特 征集 ; 若 两 个 集合 互相 对 抗 ， 则 通过 一 个 集 从 另 一 个 集中 提取 出 
高 置信 度 的 “潜在 ”特征 集 。 用 条 件 膨胀 和 条 件 腐蚀 的 形态 运算 来 融合 “ 核 ” 与 “潜在 ” 
特征 集 。 条 件 膨胀 用 来 提取 “潜在 ”特征 集 的 连接 分 量 ， 可 用 来 抑制 杂 波 ， 条 件 腐蚀 可 用 
来 填 入 在 “ 核 ” 特 征集 中 丢失 的 分 量 边 界 元 素 。 开 运算 和 闭 运算 的 基本 作用 是 对 图 像 进行 
平滑 处 理 ， 开 运算 可 以 去 掉 图 像 中 的 孤立 子 域 和 毛刺 ， 闭 运算 可 以 填 平一 些小 洞 并 将 两 个 
邻近 的 目标 连接 起 来 。 统 计 形态 的 引入 为 图 像 融 合 提供 了 一 种 新 的 思路 。 将 统计 的 思想 与 
形态 滤波 相 结合 估计 图 像 包 含 的 有 用 信息 ， 噪 声 抑制 效果 较 好 。 

6. 模拟 退火 法 

模拟 退火 法 是 以 张弛 为 基础 的 最 优化 技术 。 该 方法 用 于 图 像 处 理 时 ， 相 当 于 把 像素 值 
以 它们 驻 留 的 邻 域 视 为 物理 系统 中 的 原子 或 分 子 的 状态 ， 将 能 量 函 数 分 配给 物理 系统 并 确 
定 其 Gibbs 分 布 。 因 为 Gibbs 分 布 与 马尔 可 夫 随 机 场 等 价 ， 所 以 如 果 图 像 可 以 表示 为 马尔 可 
夫 随机 场 ， 则 能 量 函 数 就 决定 图 像 模型 。 能 量 函数 的 温度 降低 ， 将 物理 系统 退火 到 全 局 能 
量 最 小 状态 ， 则 对 应 于 带 有 噪声 的 初始 图 像 对 真实 图 像 的 最 大 后 验 估计 。 模 拟 退 火 法 用 来 
进行 像素 层 的 图 像 融合 ， 就 是 要 找到 能 恰当 地 描述 对 最 终 融 合 图 像 约束 的 能 量 函数 。 

T. 曝光 差异 处 理 方法 

该 方法 分 别 取 不 同 图 像 的 部 分 图 像 数据 来 合成 整 幅 图 像 。 在 连续 的 图 像 拍 摄 过 程 中 ， 
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由 于 受 拍摄 条 件 或 曝光 时 间 等 因素 的 影响 ， 不 同 图 像 的 亮度 和 颜色 分 布 会 存在 一 定 的 差 
异 ， 直 接 对 接 两 幅 图 像 将 会 在 拼接 后 的 图 像 中 出 现 明 显 的 拼接 缝 ， 使 整 幅 图 像 出 现 灰 度 或 
颜色 不 均匀 的 现象 ， 对 拼接 图 像 的 视觉 效果 以 及 后 续 的 图 像 处 理 和 分 析 都 将 产生 影响 。 为 
了 避免 拼接 颖 的 产生 ， 通 常 采 用 重合 区 域 图 像 数 据 取 平均 或 采用 对 重 县 区 域 图 像 数 据 渐 入 
渐 出 的 方法 来 平滑 图 像 拼 接 缝 。"" 这 两 种 方法 尽管 在 一 定 程度 上 可 以 使 图 像 砍 度 或 颜色 在 
拼 缝 处 平滑 过 渡 ， 局 部 效果 上 有 所 改善 ， 但 在 图 像 之 间 的 灰 度 或 颜色 差异 较 大 的 情况 下 ， 
图 像 整 体 上 仍然 会 存在 灰 度 或 颜色 分 布 不 均匀 的 现象 。 有 学 者 提出 了 基于 小 波 变换 的 拼接 
颖 消除 方法 ， 以 消除 图 像 之 间 的 灰 度 不 均衡 现象 ， 这 种 方法 尽管 理论 严密 ， 但 计算 量 较 
大 ， 实 现 困 难 ， 很 难 达到 理想 的 平滑 效果 。 

与 砍 度 遥感 图 像 相 比 ， 彩 色 遥 感 图 像 具 有 更 为 丰富 的 可 视 化 信息 ， 因 此 得 到 越 来 越 
广泛 的 应 用 。 彩 色 图 像 中 像素 颜色 通常 需要 由 三 维 颜色 空间 向 量 来 表示 ， 因 此 与 灰 度 图 像 
相 比 ， 在 图 像 的 表达 方式 和 处 理 方法 上 存在 较 大 的 差异 ， 使 得 彩色 图 像 拼 接 具 有 更 大 的 难 
度 。 以 往 的 彩色 图 像 拼 接 方法 大 多 首先 将 彩色 图 像 变换 为 灰 度 图 像 ， 然 后 采用 灰 度 图 像 拼 
接 的 方法 进行 匹配 计算 。 由 于 在 彩色 与 灰 度 图 像 变 换 过 程 中 ， 必 然 会 丢失 大 量 有 用 的 颜色 
信息 ， 因 此 难以 得 到 理想 的 拼接 处 理 结果 。 彩 色 图 像 平滑 过 程 中 可 以 通过 对 图 像 的 拼接 缝 
做 各 种 颜色 过 渡 处 理 ， 但 由 于 图 像 在 整体 上 存在 颜色 差异 ， 使 平滑 后 的 图 像 很 难保 证 整体 
上 的 颜色 一 致 性 。 人 了 眼 对 于 彩色 具有 较 高 的 敏感 度 ， 彩 色 图 像 平滑 同样 成 为 图 像 拼接 中 的 
另 一 个 关键 技术 环节 。 由 于 彩色 图 像 的 数据 量 大 ， 如 何 提高 拼接 算法 的 效率 是 需要 特别 考 
虑 的 问题 。 
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无 人 机 遥感 系统 获取 图 像 时 在 成 像 的 过 程 中 ， 由 于 受到 各 种 因素 的 影响 会 产生 几何 畸 
变 。 几 何 畸 变 所 带 来 的 误差 可 以 分 为 内 部 误差 和 外 部 误差 。 内 部 误差 主要 是 由 于 传感器 自 
身 的 性 能 、 技 术 指 标 偏离 标 称 数值 所 造成 的 。 比 如 ， 扫 描 速 度 不 匀 、 不 同 波段 相同 扫描 线 
的 成 像 时 间 差 、 扫 描 线 的 非 线 性 和 非 平行 性 等 使 得 到 的 图 像 失真 。 外 部 误差 是 指 遥 感 器 的 
传感器 本 身 处 在 正常 工作 的 条 件 下 ， 由 传感器 以 外 的 各 种 因素 所 造成 的 误差 。 比 如 ， 传 感 
器 的 外 方位 (位 置 、 姿 态 ) 变 化 、 地 球 曲率 、 地 球 自 转 等 因素 引起 的 变形 误差 。 所 以 在 对 图 
像 进 行 后 续 处 理 之 前 必须 进行 几何 校正 。 本 章 主要 介绍 几何 畸变 校正 的 常用 方法 ， 在 此 基 
础 上 提出 能 够 加 速 遥感 图 像 处 理 的 并 行 技术 校正 方案 。 

在 获取 图 像 的 过 程 中 ， 受 曝光 时 间 等 成 像 条 件 的 影响 ， 会 使 获取 的 图 像 出 现 偏 亮 或 偏 
暗 的 现象 ， 对 比 度 下 降 ， 不 能 很 好 地 反映 地 物 特征 。 本 章 提出 一 种 小 波 变换 与 Curvelet 变 
换 相 结合 的 图 像 增强 方法 ， 对 遥感 图 像 实现 了 对 比 度 增强 运算 ， 同 时 很 好 地 抑制 了 噪声 ， 
保证 遥感 图 像 具 有 更 好 的 清晰 度 。 


2.1 遥感 图 像 儿 何 畸 变 校正 


遥感 图 像 的 几何 变形 是 指 图 像 中 的 像 元 在 图 像 坐标 系 中 的 坐标 与 其 在 地 图 坐标 系 等 参 
考 系统 中 的 坐标 之 间 的 差异 ， 消 除 这 种 差异 的 过 程 称 为 几何 校正 。 遥 感 图 像 的 几何 变形 可 
分 为 静态 变形 和 动态 变形 两 大 类 。 静 态 变形 是 指 在 一 幅 图 像 的 形成 过 程 中 传感器 相对 于 地 
球 表面 呈 静 止 状态 时 所 具有 的 各 种 变形 误差 。 动 态 变形 是 指 在 一 幅 图 像 的 形成 过 程 中 传 感 
器 的 运动 所 造成 的 图 像 变 形 。 在 静态 变形 中 ， 可 分 为 内 部 误差 和 外 部 误差 两 类 。 内 部 误差 
是 由 传感器 结构 等 因素 引起 的 ， 如 摄像 机 的 焦距 变动 、 像 主 点 偏 移 、 镜 头 畸 变 等 。 外 部 误 
差 是 指 遥 感 器 本 身 处 在 正常 的 工作 条 件 下 ， 由 遥感 器 以 外 的 各 种 因素 所 造成 的 误差 ， 如 传 
感 器 的 外 方位 变化 、 传 感 介质 的 不 均匀 、 地 球 曲率 、 地 形 起 伏 、 地 球 旋转 等 因素 所 引起 的 
误差 。 

无 人 机 在 执行 航拍 任务 中 ， 由 于 飞行 运动 会 使 无 人 机 成 像 传感器 的 姿态 发 生变 换 ， 导 
致 获取 的 遥感 图 像 产生 几何 畸变 。 对 于 同一 地 物 区 域 ， 不 同 的 飞行 姿态 所 获取 的 遥感 图 像 
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会 存在 较 大 的 差异 ， 因 此 需要 对 获取 的 图 像 进行 几何 校正 ， 以 得 到 基于 同一 基准 投影 面 上 
的 遥感 图 像 。 根 据 无 人 机 飞行 过 程 中 的 成 像 传感器 姿态 、 航 拍 时 间 、 辅 助 导航 定位 数据 及 其 
他 各 种 空中 传感器 所 获取 的 数据 进行 融合 ， 完 成 图 像 的 校正 。 考 虑 到 无 人 机 的 实际 飞行 情况 
以 及 对 遥感 图 像 的 成 像 质量 和 实时 性 要 求 ， 几 何 校正 中 只 对 水 平方 向 上 的 角度 偏 移 所 产生 的 
几何 畸变 进行 校正 。 在 每 一 幅 图 像 拍摄 时 的 飞行 状态 数据 的 基础 上 ， 利 用 飞行 角度 和 正 
北方 之 间 的 角度 偏 移 建立 校正 变换 函数 。 采 用 邻近 插 补 法 ， 实 现 几何 校正 。 钙 


2.1.1 坐标 系统 


空间 坐标 系 ， 如 图 2-1 所 示 ， 具 体 阐释 如 下 所 述 。 


Z 





X 


(b) 
图 2-1 空间 坐标 系 
1. 像 平面 坐标 系 0 一 xy 
像 平面 坐标 系 是 影像 平面 内 的 直角 坐标 系 ， 用 来 表示 像 点 在 像 平 面 上 的 位 置 。 若 摄影 
中 心 为 Ss， 摄影 方向 与 影像 平面 的 交点 o 称 为 影像 的 像 主 点 。 像 平面 坐标 系 的 原点 就 位 于 像 主 
点 。 对 于 航空 影像 ， 两 对 边 机 械 框 标 的 连 线 为 x 轴 和 y 轴 的 坐标 系 称 为 框 标 坐标 系 ， 其 与 航线 
方向 一 致 的 连 线 为 x 轴 ， 航 线 方向 为 正 向 ， 像 平面 坐标 系 的 方向 与 框 标 坐标 系 的 方向 相同 。 
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2. 像 空 间 坐 标 系 S 一 xyz 

该 坐标 系 是 一 种 过 渡 坐 标 系 ， 用 来 表示 像 点 在 像 方 空间 的 位 置 。 该 坐标 系 以 摄 站 点 
(或 投影 中 心 )S 为 坐标 原点 ， 摄 影 机 的 主 光 轴 So 为 坐标 系 的 z 轴 ， 像 空间 坐标 系 的 x-、y 轴 平 
行 ， 正 方向 如 图 2-1 所 示 。 在 这 个 坐标 系 中， 每 一 个 像 点 的 z 坐 标 都 等 于 So 的 长 ， 但 符号 是 
负 的 。 

3. 像 空间 辅助 坐标 系 S 一 XYZ 

该 坐标 系 是 一 种 过 渡 坐 标 系 ， 它 以 投影 中 心 为 坐标 原点 。 在 航空 摄影 中 通常 以 铅 垂 
方向 (或 设 定 的 某 一 竖 直 方向 ) 为 2 轴 ， 取 航线 方向 为 X 轴 ， 这 样 有 利于 改正 航线 方向 积累 的 

4. 摄影 测量 坐标 系 4 一 XZ， 

该 坐标 系 是 一 种 过 渡 坐 标 系 ， 用 来 描述 解析 摄影 测量 过 程 中 模型 点 的 坐标 。 在 航空 摄影 
测量 中 通常 以 地 面 上 某 一 点 4 为 坐标 原点 ， 而 它 的 坐标 轴 与 像 空间 辅助 坐标 系 的 坐标 轴 平 行 。 

5. 物 空间 坐标 系 0 一 XYZ, 

该 坐标 系 是 摄 物 体 所 在 的 空间 直角 坐标 系 。 测 绘 中 所 用 的 是 地 面 测 量 坐 标 系 (大 地 坐 
标 系 )。 前 面 介绍 的 4 种 坐标 系 均 是 右手 直角 坐标 系 ， 而 地 面 测量 坐标 系 为 左手 坐标 系 ， 
它 的 轴 指 向 正 北 方向 ， 高 程 则 以 我 国 黄海 高 程 系统 为 基准 。 在 地 球 上 一 个 小 范围 内 讨论 
问题 时 ， 把 OD0X.Y,Z, 视 为 左手 直角 坐标 系 是 允许 的 ， 但 当 测 区 范围 较 大 时 ， 须 考虑 地 球 
曲率 的 影响 。 





2.1.2 影像 的 内 外 方位 元 素 


1. 内 方位 元 素 

确定 摄像 机 的 镜头 中 心 (严格 地 说 ， 应 该 是 镜头 的 像 方 节点 ) 相 对 于 影像 中 心 的 位 置 关 
系 参 数 ， 称 为 影像 的 内 方位 元 素 。 内 方位 元 素 包括 以 下 三 个 参数 : 像 主 点 ( 主 光 轴 在 影像 
面 上 的 垂 足 ) 相 对 于 影像 中 心 的 位 置 w、?o 以 及 镜头 中 心 到 影像 面 的 垂 距 ] 也 称 主 距 )， 如 图 
2-2 所 示 。 对 于 航空 影像 ，xo、7 即 像 主 点 在 框 标 坐标 系 中 的 坐标 。 内 方位 元 素 值 一 般 由 摄 
影 机 检 校 确定 。 
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图 2-2 影像 的 内 方位 元 素 

2. 外 方位 元 素 

确定 影像 或 摄影 光束 在 摄影 瞬间 的 空间 位 置 和 姿态 的 参数 ， 称 为 影像 的 外 方位 元 素 。 
一 幅 影 像 的 外 方位 元 素 包 括 6 个 参数 ， 其 中 有 3 个 是 线 元 素 ， 用 于 描述 摄影 中 心 S 相 对 于 物 
方 空间 坐标 系 的 位 置 X%、Ys、2Zs; 另外 3 个 是 角 元 素 ， 用 于 描述 影像 面 在 摄影 瞬间 的 空中 姿 
态 。 角 元 素 有 三 种 不 同 的 表达 形式 。@ 以 7 种 为 主轴 的 gDoUx 系 统 (主轴 是 在 旋转 过 程 中 空 
间 方 位 不 变 的 一 个 固定 轴 ): 以 7 轴 为 主轴 旋转 p， 然 后 绕 弄 旋转 w， 最 后 绕 Z 轴 旋转 x 角 。@ 以 X 
轴 为 主轴 的 wDpDx 系 统 ， 以 X 轴 为 主轴 旋转 w'， 然 后 绕 7 轴 旋转 pg'， 最 后 绕 Z 轴 旋转 x 角 。@@ 以 
2Z 轴 为 主轴 的 4Dojc 系 统 ， 以 Z 轴 为 主轴 旋转 4 角 ， 然 后 绕 7 轴 旋转 a， 最 后 绕 Z 轴 旋转 x 角 。 


2.1.3 空间 直角 坐标 系 的 旋转 变换 


像 点 空间 直角 坐标 的 旋转 变换 是 指 像 空 间 坐标 与 像 空间 辅助 坐标 之 间 的 变换 。 空 间 直 
角 坐 标的 变换 是 正 交 变换 ， 一 个 坐标 系 按 某 种 顺序 依次 旋转 三 个 角度 即 可 变换 为 另 一 个 同 
原点 的 坐标 系 。 

设 像 点 a 在 像 空 间 坐 标 系 中 的 坐标 为 (+，y，[DF)， 而 在 像 空间 辅助 坐标 系 中 的 坐标 为 
(X， 了 ,有 妃 ， 两 者 之 间 的 正 交 变 换 关 系 可 以 用 下 式 表示 


X 
Q-1) 
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或 
x X & b alx 
y |=R"|Y|=|a, b, cllY Q2) 
af Z a b, glz 























式 中 ，R 为 一 个 3X3 阶 的 正 交 和 矩阵 ， 由 9 个 方向 余弦 组 成 。 以 影像 外 方位 角 元 素 gDeoDc 系 统 
为 例 ， 对 于 上 述 两 个 坐标 系 之 间 的 转换 关系 可 以 理解 为 : 像 空间 坐标 系 是 像 空 间 辅助 坐标 
系 (相当 于 摄影 光束 的 起 始 位 置 ) 依 次 绕 相 应 的 坐标 轴 旋 转 g、w、x 三 个 角度 以 后 的 位 置 。 
此 时 R 可 表示 为 

















cosp 0 -sinp|1 0 0 cosx -sinx 0 
R=RoeRoRx=| 0 1 0 0 coso ol cosx 0 
sing 0 coso | 0 sino coso 0 0 1 

a a, a, 

-|Àà b, b 

$ G 6 








将 R 的 表达 式 乘 积 结果 列 出 后 ， 可 得 


à, — cos qcos x -sin osin osin x 

a, ——cosgsinx —sin osin o cos K 

a, = -sin Q cos © 

b, - cososink 

b, = cose cos K (2-3) 
b, -—sino 

c, — singcos k - cos psin osin x 

c, — —singsin x 4 cos gsin 9 cos x 


€, - cos Qcos o 


2.1.4 dA 


ASHATUO PO, EE-E RAN 5 [BIA FR PAAR SG. Ys Z) MEH 
HTAR CHUTEIRA, Y, 刁 。z 为 M 在 影像 上 的 构 像 ， 相 应 的 像 空间 坐标 和 
像 空间 辅 助 坐标 分 别 为 Ct，y，[) 和 (Xs， 五 ，2,)， 如 图 2-3 所 示 。 
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图 2-3 ” 共 线 条 件 方程 























摄影 时 、m、M 三 点 位 于 一 条 直线 上 ， 那 么 像 点 的 像 空间 辅助 坐标 与 物 方 点 、 物 方 空 
间 坐 标 之 间 有 以 下 关系 
E h Hs os 
EE FE XX — e) 
则 
X -kX-X) 全 = -kz-z) 
由 式 C2-1) 可 知 ， 像 空间 坐标 与 像 空间 辅助 坐标 有 下 列 关系 
x| ja & a|X, 
y 7|4 b c || Yn (a) 
=f a b, ea 
将 式 (a) 展 开 为 
X a, X, t b Y, cL 
-J aV EY 46, 
(b) 


y wb hi 
-f a X,*b,Y,tcZ, 


将 式 (2-4) 代 入 式 (b) 中 ， 并 考虑 到 像 主 点 的 坐标 (x。，y6)， 得 
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a(X -Ajar tel 
a(X - X) * (Y - X) «e(Z -4) 
aXX - X) &b(Y -X) «eZ -Z) 
aX — X) &&(Y -YX) *e(Z - Z) 
式 (2-5) 即 为 常见 的 共 线 条 件 方程 式 (简称 共 线 方程 )， 式 中 

(x， 力 为 像 点 的 像 平面 坐标 ; 

(xo，yo， 思 为 影像 的 内 方位 元 素 ; 

CE， 枣 ，Z3) 为 摄 站 点 的 物 方 空间 坐标 ; 

QG Y, 习 为 物 方 点 的 物 方 空间 坐标 ; 

4a，2，citi=1，2，3) 为 影像 的 3 个 外 方位 元 素 组 成 的 9 个 方向 余弦 。 
由 式 (2-4) 和 (2-1) 可 以 推导 出 共 线 方程 的 男 一 种 形式 


人 二 A. x 
y (2-6) 





xX—Xo =f. 
Q-5) 
y-»--f 


天 -区 Y, 


Ze Z 


4 dnos 并 完整 地 写 出 旋转 矩阵 ， 则 有 


H 
k 


























X a à, a,| x X 
Y|-A,b b, by |+ Ys Q-7) 
Z e o 5 =f Z 
24.5 灰 度 重 采样 
常用 的 像 元 灰 度 重 采 样 方法 有 以 下 几 种 。 
(1) 双 线性 插值 法 。 双 线性 插值 法 的 卷 积 核 是 一 个 三 角 函 数 ， 可 以 表达 为 


Wœ 0S1 Q-8) 
任意 像 点 p(x，y) 位 于 4 个 像 元 pi, p Pija Pin, js Pia mm 之 间 ， 则 由 双 线性 插值 得 
出 其 灰 度 值 为 
8G») - e, -(0L-d)ü-dye, + dx(ü-dyye, a 
+ -dg td 
AF, de»[DINTG). WINTE) NTARE. 


(2-9) 
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CO) 双 三 次 卷 积 法 。 以 三 次 样 条 函数 


ox) -1-2x* «| oxp« 
o(x)-4-Ssp|«5x -pf  rxp]e2 (2-10) 
(x) -0 2<|x] 


为 卷 积 核 ， 需 要 16 个 原始 像素 参与 计算 。 此 时 


g(» 3-8, := 222,98, ; Q-11) 


AF, o, FO) 
a(x) =-dx+2dx - dx 
o(x,) -1-2dx + dx 
olx) 2 dx dx! & dx 
olx) 2 -dx! «dx 
o) 7 -dy * 2dy* - dy 
oy.) -1-2dy' «dy 
oy, 7 dy & dy! «dy 
oXy,) 7 -dy' - dy 
dx-X[JINTG), NTO), g, Fee y) Q-13) 
(3) 最 邻近 像 元 法 。 直 接 取 与 P(x，») 点 位 置 最 近 像 元 N(xyw，y) 的 灰 度 值 为 重 采样 值 ， 
即 g(P)=g(N)， 式 中 w=INTGx+0.5)，yy=INTGy+0.5)。 
上 述 三 种 方法 中 最 邻近 像 元 法 最 简单 ， 计 算 速 度 快 但 精度 较 差 。 双 三 次 卷 积 法 采样 
中 误差 约 为 双 线 性 内 插 的 1/3， 但 计算 量 大 、 较 费时 ， 因 而 一 般 情况 下 常 采用 双 线 性 插 
值 法 。 


(2-12) 





2.2 遥感 图 像 并 行 几何 校正 算法 


随 着 航天 与 传 感 技 术 的 飞速 发 展 ， 一 方面 ， 通 过 遥感 手段 获得 的 信息 量 大 大 增加 ， 主 
要 表现 在 空间 分 辨 率 、 时 间 分 辨 率 、 光 谱 分 辩 率 和 辐射 分 辨 率 的 不 断 提高 ， 单 幅 遥 感 图 像 
的 数据 量 已 达到 数 百 兆 。 另 一 方面 ， 遥 感应 用 不 断 得 到 推广 ， 用 户 不 断 提 出 新 的 需求 ， 很 
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多 领域 ， 如 气象 预报 、 灾 难 监测 等 ， 需 要 对 遥感 图 像 进行 快速 及 时 、 实 时 的 处 理 。 目 前 对 
海量 数据 的 快速 处 理 ， 己 成 为 怕 感 领域 中 蝇 待 解决 的 问题 。 

采用 并 行 技术 是 加 速 遥 感 图 像 处 理 的 有 效 手 段 ，Pbdua 等 人 采用 指令 集 并 行 技术 对 遥 
感 图 像 进行 处 理 ， 但 这 种 技术 与 具体 硬件 的 相关 性 大 ， 通 用 性 差 。 机 群 系统 性 能 价格 比 
高 ， 可 扩展 性 好 ， 日 益 得 到 并 行 研究 者 与 用 户 的 青睐 。Meisl 等 基于 Cluster( 机 群 ) 环 境 实现 
了 SAR 信 号 成 像 的 并 行 处 理 ， 分 析 了 网 络 带 宽 对 并 行 性 能 的 影响 。Yang 在 BEOWULF 工 作 
站 机 群 系统 上 进行 遥感 图 像 处 理 ， 主 要 考虑 了 工作 站 机 群 环境 的 搭建 ， 并 未 提 及 并 行 算法 
的 研究 ， 为 了 加 快 几何 校正 的 处 理 过程 ， 针 对 遥感 图 像 与 分 布 存储 并 行 环境 ， 研 究 并 实现 
了 一 种 基于 局 部 输出 区 域 计算 的 并 行 几何 校正 算法 。 


2.2.1 并行 几何 校正 算法 


采用 并 行 处 理 技术 是 提高 算法 、 执 行 效率 的 有 效 手段 ， 遥 感 图 像 的 几何 校正 可 采用 数 
据 的 并 行 处 理 方式 。 中 下 面 我 们 首先 介绍 直观 并 行 算法 及 其 缺陷 ， 然 后 针对 分 布 存储 的 并 
行 环境 ， 提 出 一 种 基于 局 部 输出 区 域 计算 的 并 行 几何 校正 算法 。 

1. 直观 并 行 算 法 

直观 并 行 算法 是 大 图 像 并 行 重 采样 处 理 常用 的 算法 "， 其 处 理 方式 是 对 输入 图 像 的 
存储 进行 规则 (条 状 或 块 状 ) 划 分 ， 每 个 处 理 器 保存 一 块 输入 子 图 像 ， 如 图 2-4(a) 所 示 ; 同时 
对 目标 图 像 的 重 采样 计算 采用 简单 的 规则 划分 ， 每 个 处 理 器 对 一 块 输出 子 图 像 进行 灰 度 值 
重 采样 ， 如 图 2-4(b) 所 示 。 








y 
(a) 数据 存储 规则 划分 O 重 采样 计算 规则 划分 
图 2-4 直观 并 行 算 法 数据 划分 


直观 并 行 算法 多 用 于 图 像 的 缩放 与 微小 变形 ， 若 在 分 布 存储 环境 下 采用 直观 并 行 算法 
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对 卫星 遥感 图 像 进行 几何 校正 ， 则 对 输出 图 像 块 进行 重 采 样 计算 所 需 的 像 元 灰 度 信息 可 能 
不 在 本 地 ， 见 图 2-4(b) 中 的 斜 线 阴影 部 分 ， 需 要 通过 处 理 器 之 间 的 交互 获得 ， 且 这 种 通信 
为 频繁 的 小 数据 传输 ， 开 销 很 大 。 另 外 ， 这 种 方法 对 无 效 区域 ， 即 图 2-4(b) 中 的 未 填充 区 
域 的 像 元 需要 进行 几何 位 置 反 算 ， 实 际 上 若 知道 无 效 像 元 的 位 置 ， 直 接 将 它们 的 灰 度 值 赋 
成 背景 色 即 可 。 因 此 ， 直 观 并 行 算法 不 适用 于 分 布 存储 环境 下 遥感 图 像 的 几何 校正 。 

2. 基于 局 部 输出 区 域 计算 的 并 行 算法 

针对 分 布 存储 的 并 行 环境 ， 可 提出 一 种 基于 局 部 输出 区 域 计 算 的 并 行 几何 校正 算法 。 
它 与 直观 并 行 算 法 的 不 同 之 处 是 ， 每 个 处 理 器 对 输出 图 像 的 重 采 样 范围 不 是 规则 的 图 像 块 ， 
而 是 一 块 特定 的 非 规则 区 域 ， 即 各 处 理 器 根据 正 映射 关系 计算 出 的 本 地 输入 子 图 像 在 校正 后 
图 像 中 的 范围 。 考 虑 到 灰 度 二 维 插值 需要 利用 邻 域 像 元 的 信息 ， 为 了 避免 处 理 器 之 间 的 通 
信 ， 各 处 理 器 根据 插值 模板 的 大 小 在 本 地 输入 子 图 像 的 边界 处 元 余 存 储 若 干 行 像 元 ， 如 对 于 
三 次 卷 积 重 采 样 ， 其 模板 大 小 为 4X4， 边 界 处 需要 元 余 存 储 两 行 像 元 。 这 样 并 行 重 采 样 计 算 
时 各 处 理 器 所 需 的 像 元 灰 度 值 均 保存 在 本 地 ， 整 个 计算 过 程 无 须 通信 ， 加 快 了 并 行 处 理 的 速 
度 。 负 责 全 局 操作 的 处 理 器 为 管理 结 点 ， 参 与 并 行 计算 的 处 理 器 为 计算 结 点 ， 算 法 的 处 理 流 
程 见 图 2-5， 其 中 方 框 外 的 操作 由 管理 结 点 完成 ， 方 框 内 的 操作 由 各 计算 结 点 并 行 执行 。 












dd 





ESERERESEEEESP E 
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图 2-5 并行 几何 校正 算法 流程 
下 面 为 几何 校正 算法 中 各 步骤 的 具体 描述 。 
(1) 确定 输出 图 像 的 范围 与 逆 映 射 关系 计算 。 这 个 步骤 与 串 行 算法 中 的 处 理 方式 相 
同 ， 由 管理 结 点 完成 ， 并 将 求 得 的 输出 图 像 范围 及 逆 映 射 函 数 发 送 到 各 计算 结 点 。 
D 数据 划分 。 根 据 计算 结 点 的 数目 z 对 输入 图 像 (畸变 图 像 ) 进 行规 则 划分 ， 每 个 计算 
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结 点 保存 一 块 输入 子 图 像 ， 并 对 子 图 像 的 边界 处 进行 信息 元 余 存储 。 

(3) 局 部 输出 区 域 计 算 。 计 算 按 本 地 保存 的 规则 输入 子 图 像 对 应 在 目标 图 像 中 的 范 
围 ， 确 定 本 结 点 需要 完成 的 重 采 样 计算 ， 同 时 采用 一 种 新 的 存储 结构 保存 该 结 点 的 输出 图 
像 块 信息 。 这 是 该 并 行 算法 的 难点 ， 也 是 解决 数据 局 部 性 的 关键 。 

(4) 局 部 重 采样 。 本 地 输入 子 图 像 对 应 在 目标 图 像 中 的 范围 已 知 ， 对 于 该 范围 内 的 每 个 输 
出 像 元 ， 利 用 逆 映 射 关系 求 得 其 在 畸变 图 像 中 的 共 力 点 ， 然 后 利用 二 维 插值 确定 其 灰 度 值 。 

(5) 数据 收集 与 规整 。 各 计算 结 点 将 本 地 的 结果 数据 传 给 管理 结 点 ， 管 理 结 点 按照 常 
规 的 图 像 格式 ， 将 这 些 输出 图 像 块 进行 规整 ， 对 于 无 效 区 域内 的 像 元 点 ， 直 接 将 其 灰 度 值 
赋 成 背景 色 ， 最 后 形成 一 幅 完整 的 校正 后 图 像 。 

在 我 们 的 并 行 几何 校正 算法 中 ， 局 部 输出 区 域 的 计算 与 存储 保证 了 算法 的 数据 局 部 
性 。 如 图 2-6 所 示 ， 输 入 图 像 被 分 割 成 p=4 块 子 图 像 ， 在 计算 结 点 P; 上 ， 规 则 输入 子 图 像 
abcd 经 过 正 映 射 函 数 变 换 到 目标 图 像 的 对 应 区 域 a'b'c'd'"， 对 a'b'c'd' 范 围 内 包含 的 全 部 像 元 
点 进行 灰 度 值 计算 ， 所 需 的 输入 像 元 信息 全 部 落 在 本 地 保存 的 cpcd 子 图 像 中 (包括 边界 处 
元 余 存 储 的 数据 )， 从 而 解决 了 数据 局 部 性 问题 。 

3. 输出 图 像 块 的 存储 结构 

对 于 无 人 机 遥感 图 像 ， 一 般 通 过 计算 畸变 图 像 中 4 个 角 点 对 应 的 地 面 坐标 就 能 够 确定 
目标 图 像 的 大 小 。 如 图 2-6 中 ， 输 入 图 像 的 4 个 角 点 4、B8、C、D 对 应 输出 图 像 中 4'、B'、 
C'、D'4 个 点 ， 对 于 所 有 的 有 效 输出 像 元 ，4'、B'"、C'、D'4 个 点 中 必然 存在 两 个 点 在 vy 方向 
上 分 别 取 最 大 值 和 最 小 值 ， 这 一 特点 使 局 部 输出 区 域 的 计算 与 存储 相对 于 复杂 映射 而 言 较 
为 简单 。 











图 2-6 数据 局 部 性 示意 图 
首先 ， 我 们 给 出 左 /右边 界 段 的 定义 。 对 于 校正 后 的 遥感 图 像 ， 令 其 有 效 区 域 中 * 坐 标 
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值 最 小 的 点 为 e。， 最 大 的 点 为 /， 从 点 e 开 始 ， 按 顺 时 针 方向 绕 有 效 区 域 的 闭合 边界 一 周 ， 
则 对 于 从 e 到 了 的 边界 段 et， 有 效 输出 像 元 均 在 其 右 部 ， 称 为 左边 界 段 ， 从 f 到 e 的 边界 段 
Je， 有 效 输出 像 元 均 在 其 左 部 ， 称 为 右边 界 段 。 同 理 ， 对 于 每 个 计算 结 点 上 的 输入 子 图 
像 ， 其 输出 图 像 块 在 v 方 向 上 也 有 本 地 最 大 值 和 最 小 值 ， 相 应 地 有 本 地 左 、 右 边界 段 。 在 
每 条 与 本 地 左 、 右 边界 段 相交 的 扫描 线 上 ， 均 存在 一 条 像 元 段 ， 该 像 元 段 的 起 始 坐 标 为 扫 
描 线 与 左边 界 的 交点 ， 像 元 段 的 长 度 为 左 、 右 边界 段 与 扫描 线形 成 的 两 交点 之 间 的 距离 。 
图 2-6 显 示 在 计算 结 点 P, 上 ， 第 条 扫描 线 v=vy 与 输出 图 像 块 的 左边 界 段 4a 和 右边 界 段 b'c 相 
交 ， 形 成 的 像 元 段 的 起 始 横 坐标 为 uy， 长 度 为 ry。 显 然 ， 只 需要 保存 本 地 输出 图 像 块 中 每 条 
像 元 段 的 起 始 坐标 与 长 度 ， 就 能 获得 不 规则 输出 图 像 块 的 范围 ， 如 图 2-7(b) 所 示 。 为 了 方便 
应 用 ， 我 们 将 像 元 段 的 起 始 横 坐标 与 长 度 分 别 记 录 为 该 像 元 段 上 起 始 像 元 的 横 坐 标 及 像 元 
的 数目 。 输 出 图 像 块 的 存储 结构 如 图 2-7(a) 所 示 ， 存 储 的 内 容 包括 边界 信息 与 像 元 灰 度 值 ， 
其 中 图 像 块 与 像 元 段 的 结构 分 别 为 





L H 








(a) 输出 图 像 块 信息 存储 结构 (0) 不 规则 边界 信息 计算 
图 2-7 输出 图 像 块 存储 结构 及 其 边界 信息 计算 





Struct ImageBlock 

t 

int StartVertical; 

int BlockHeight; 

struct PixelSeg**PixelSegInfo; 
} 

Struct PixelSeg 
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{ 

int StartHorizontal; 

int SegWidth; 

int * Gray Value; 

} 

对 于 每 个 计算 结 点 i(1 志 i<p)， 首 先 记 录 本 地 输出 图 像 块 的 头 信 息 ， 内 容 为 该 图 像 块 
在 目标 图 像 中 跨越 的 扫描 线 行 数 L;， 起 始 行 的 横 坐 标 v 以 及 包含 L 个 元 素 的 指针 数组 ， 每 
个 指针 指向 相应 扫描 行 上 的 像 元 段 信息 。 每 段 像 元 有 一 个 头 信息 ， 包 含 该 像 元 段 中 起 始 像 
JC BEA bu (1L). Bo s RR I JOE RET 

4. 局 部 输出 区 域 计 算 

令 第 i(1<i<p) 个 计算 结 点 的 输入 子 图 像 为 45cd4， 则 其 对 应 的 输出 图 像 块 ab'c'4' 的 边界 
EEL Vas tu ,的 计算 过 程 如 下 所 述 。 

(1) 计算 边界 同名 点 ， 确 定 左 、 右 边界 段 。 根 据 校 正 模 型 ， 依 次 计算 并 保存 输入 子 图 
像 abcd 上 各 边界 像 元 点 对 应 在 目标 图 像 中 的 同名 点 ， 并 称 其 为 边界 同名 点 。 令 输入 子 图 像 
的 4 个 角 点 a、b5、c、d 对 应 在 目标 图 像 上 的 位 置 为 a、P'、c'、d'， 点 e、f 分 别 为 a'、P'、ce'、 
d' 中 v 坐 标 值 最 小 与 最 大 的 点 ， 即 v=min{va',，vb',，ve', vd}, vmax{va', vb', ve', vd'}。 
在 输出 图 像 块 中 ， 从 e 点 开始 ， 按 顺 时 针 方 向 利用 闭合 线段 依次 连接 相 邻 同名 点 ， 将 形成 
的 闭合 边界 近似 表示 输出 图 像 块 的 理想 边界 ， 则 边界 ef 为 左边 界 段 ， 边 界 fe 为 右边 界 段 ， 
在 图 2-7@) 中 ，e=c', 记 a"， 边 界 4a' 与 bc' 分 别 为 左 、 右 边界 段 。 

Q) 确定 输出 图 像 块 信息 ，w = [v Lulv,|- [v] vs [v ]-L 标识 量 产 0。 

(3) 求 第 六 1 行 扫 描 线 上 各 边界 信息 项 的 值 ， 过 程 描述 如 下 所 述 。 

O FZL, ARWR AR. 

Q jtl, vm 

轿 若 左边 界 段 ef 上 存在 边界 同名 点 s， 满 足 w=wW， 则 凤 =[x]， 否 则 在 ej 的 边界 同名 点 中 
找到 两 个 点 、s'， 满 足 v,<vj<v。， 且 无 其 他 同名 点 S$， 使 得 v<v<v。， 则 





Vo — Va 
u, | n E pu, | (2-14) 


es 
O 若 右 边界 段 fe 上 存在 边界 同名 点 :， 满 足 v=vy， 则 x 二 ujDwz+1， 否 则 在 pp 上 找到 两 个 
同名 点 tt， 满足 v<vy<v 则 
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Ya 
rj =| 一 一 一 -区 up] +u, |u; +1 (2-15) 


V, —Vp 

(4) 转 步 3)。 该 局 部 输出 区 域 计 算 方法 的 思想 是 : 首先 确定 埃及 wm，w 是 为 了 方便 计算 
引入 的 初始 值 ， 然 后 依次 将 v 坐 标 值 加 1 得 到 v;， 再 利用 左 、 右 边界 段 上 v 值 与 w 相 邻 的 两 个 
边界 同名 点 的 u、v 坐 标 ， 用 线段 拟 合 输出 图 像 块 的 理想 边界 ， 求 出 扫描 线 v=wj 与 左 、 右 边 
界 段 的 交点 ， 从 而 确定 该 扫描 线 上 像 元 段 的 起 始 横 坐 标 与 该 像 元 段 的 长 度 。 考 虑 到 有 效 像 
元 为 不 规则 边界 内 的 像 元 ， 因 此 对 zx 坐标 值 取 整 时 ， 像 元 段 左边 的 x 值 取 上 整 ， 右 边 则 取 下 
整 。 各 计算 结 点 利用 保存 的 边界 信息 即 可 得 到 本 地 输出 图 像 块 中 各 有 效 像 元 的 位 置 ， 然 后 
通过 几何 位 置 反 算 与 二 维 灰 度 插值 获得 它们 的 灰 度 信息 。 最 后 ， 管 理 结 点 对 各 计算 结 点 的 
输出 图 像 块 结果 进行 收集 规整 ， 形 成 最 终 的 目标 图 像 。 由 于 目标 图 像 中 任意 有 效 像 元 必须 
为 某 个 不 规则 输出 图 像 块 的 内 部 像 元 ， 因 此 该 算法 保证 了 规整 后 图 像 的 完整 性 。 


2.22 并行 几何 校正 算法 的 实验 结果 与 分 析 


我 们 在 机 群 系统 上 实现 了 算法 ， 由 于 图 像 的 大 小 是 影响 算法 性 能 的 关键 因素 ， 因 此 
在 实验 中 ， 我 们 将 一 幅 遥 感 图 像 重 采样 成 大 小 不 同 的 多 幅 图 像 ， 分 别 进行 系统 几何 校正 ， 
分 析 测 试 结果 。 测 试 平台 的 配置 为 ，16 台 微机 构成 Cluster 结 构 (1 个 管理 结 点 ，15 个 计算 结 
点 )， 每 个 结 点 的 配置 为 Pentium4，2.2G 的 CPU，1GB 的 内 存 ，100Mbps 的 快速 交换 式 以 太 
网 互 连 ， 软 件 环 境 为 Windows2000 操 作 系统 ，NT2MPICH 消 息 传递 并 行 库 。 像 元 的 灰 度 级 
别 为 256(8bits)， 道 映射 关系 为 完全 三 次 多 项 式 ， 二 维 灰 度 插值 利用 三 次 卷 积 法 。 采 用 最 小 
二 乘法 求 着 映射 函数 时 ， 选 取 的 粗 网 格 在 * 与 ?方向 上 的 间隔 均 为 100 个 像 元 点 。 数 据 由 管 
理 结 点 分 发 到 各 计算 结 点 ， 计 算 结束 后 ， 各 输出 图 像 块 结果 汇集 到 管理 结 点 进行 规整 。 图 
2-8 给 出 了 实验 图 像 在 几何 校正 前 后 的 缩 略图 。 

由 于 不 断 接 收 数据 ， 因 此 畸变 图 像 可 以 源源 不 断 地 输入 ， 我 们 分 析 在 这 种 流水 状态 下 
算法 的 性 能 。 管 理 结 点 负责 的 全 局 操作 的 计算 量 很 少 ， 可 完全 与 数据 传输 重 又 ， 因 此 并 行 
几何 校正 处 理 的 总 时 间 取决 于 输入 与 输出 图 像 的 传输 时 间 与 并 行 计算 的 时 间 。 首 先 ， 我 们 
分 析 这 两 部 分 时 间 的 理论 结果 ， 由 于 求 局 部 输出 区 域 所 需 的 时 间 很 少 ， 并 行 计算 的 时 间 仅 
考虑 本 地 重 采样 时 间 。 假 设 输入 图 像 有 Ni 个 像 元 ， 校 正 后 图 像 的 有 效 区 域 有 入 个 像 元 ， 网 
络 传输 速率 为 VIMbps)， 计 算 结 点 的 数目 为 p， 则 数据 传输 时 间 与 并 行 计算 时 间 分 别 为 
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(2-16) 





其 中 FPMA 为 各 计算 结 点 每 秒 能 够 完成 的 浮 点 乘 加 操作 数 ，FP 为 重 采样 计算 时 每 个 有 效 输 
出 像 元 所 需 的 浮 点 乘 加 操作 数 。 

当 数 据 达 到 完全 流水 ， 一 幅 图 像 进 行 几何 校正 所 需 的 时 间 为 Tuowecioo[p]=max[ Twosters 
Tparaial]。 随 着 计算 结 点 数 的 增加 ， 并 行 计算 所 需 的 时 间 不 断 减少 ， 而 数据 的 传输 时 间 
基本 不 变 ( 随 着 元 余数 据 量 的 增加 会 咯 有 增加 )， 因 此 存在 p'(p' 宇 1)， 使 得 p<p* 时 ， 有 
Toca? Testa 当 p 之 时 ，Towaa 夺 Tososter， 为 了 测试 流水 状态 下 算法 的 性 能 ， 我 们 将 同一 
幅 图 像 反 复 作 为 输入 图 像 。 表 2-1 给 出 了 串 行 几何 校正 与 计算 结 点 数 p=8 和 p=15 时 并 行 几何 
校正 的 处 理 时 间 ， 表 2-2 给 出 了 并 行 处 理 时 的 一 些 详细 结果 。 在 我 们 的 实验 环境 下 ， 对 于 
任意 计算 结 点 数 p(1<p 志 15)， 全 局 计算 时 间 均 小 于 并 行 计算 时 间 与 数据 传输 时 间 。 从 表 
2-2 可 以 看 出 ， 当 p=8 时 ，7 swa>Tiaoster 几何 校正 的 总 时 间 取 决 于 并 行 计算 时 间 ; 当 p=15 
FS Tarani Tuas 总 时 间 取 决 于 数据 传输 时 间 。 在 并 行 计算 中 ， 计 算 局 部 输出 区 域 的 时 
间 占 并 行 计算 时 间 的 百分比 随 着 p 的 增 大 而 增 大 ， 但 始终 没有 超过 2%， 这 说 明 局 部 输出 区 
域 计算 对 算法 的 性 能 影响 不 大 。 


original im age 
一 一 





rectified im age 


Í s 4 
200 300 400 500 100 200 300 400 500 
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图 2-8 ”遥感 图 像 几何 校正 结果 示意 图 
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表 2-1” 串 行 与 并 行 几何 校正 的 实验 结果 









输入 图 | 串 行 算法 
像 大 小 | 的 时 间 /s 





















P=15 
2002 1.69 | 0.21 0.20 
6002 3.83 0.76 











10002 6.77 












输入 图 Sir sm 局 部 输出 区 域 计算 时 间 /s 
像 大 小 P=15 
2002 0.002 
4002 0.008 
10002 0.066 
20002 0.180 





图 2-9 给 出 了 采用 不 同 数目 的 计算 结 点 获得 的 加 速 比 。 从 加 速 比 曲线 可 以 看 出 ， 对 于 
1000x1000 和 2000x2000 的 输入 图 像 ，z=9， 对 于 两 幅 大 的 输入 图 像 ，P=10。 当 p<z" 时 ， 
数据 传输 时 间 小 于 并 行 计算 时 间 ， 各 计算 结 点 的 性 能 可 以 得 到 充分 发 挥 ， 并 行 处 理 的 性 能 
由 Twana 决 定 ， 当 p 宕 p' 时 ， 数 据 传输 时 间 大 于 并 行 计算 时 间 ， 每 个 计算 结 点 完成 一 个 任务 


时 ， 需 要 等 待 下 一 幅 输 入 子 图 像 传 过 来 才能 再 次 执行 ， 中 间 存 在 等 待 时 间 。 


一 旦 数据 传输 


时 间 占 主导 地 位 ， 增 加 计算 结 点 不 能 进一步 提高 并 行 性 能 。 图 2-9 显 示 算 法 的 加 速 比 可 能 
大 于 计算 结 点 的 数目 ， 其 原因 是 串 行 处 理 时 需要 对 目标 图 像 中 的 无 效 像 元 进行 几何 位 置 反 


算 ， 而 并 行 算 法 无 须 对 这 些 像 元 进行 处 理 ， 这 在 一 定 程度 上 减少 了 运算 量 。 


1 
—IL-LÉGa LA P 
EA 


一 一 200*200 


加 速 比 
grua uano y S 


—O— 400*400 
一 人 一 1000*1000 
—3-— 2000*2000 








1 3 4 5 6 1 8 9 10 lH 1 B M I 
计算 结 点 数 
图 2-9 不 同 计算 结 点 数 获 得 的 并 行 加 速 比 
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通过 上 述 分 析 可 知 ， 当 p<p* 时 ， 并 行 几何 校正 算法 具有 很 好 的 并 行 性 能 ， 当 p 之 p* 
时 ， 算 法 性 能 会 随 着 计算 结 点 数 的 增加 而 略 有 降低 。 显 然 ，p' 越 大 ， 可 以 利用 更 多 的 计算 
结 点 获得 更 好 的 性 能 ， 算 法 的 可 扩展 性 也 越 好 。 对 于 给 定 的 几何 校正 任务 ， 增 大 p" 的 有 效 
方法 是 降低 数据 传输 时 间 ， 即 提高 网 络 带宽 。 


2.3. 遥感 图 像 对 比 度 增 强 


无 人 机 遥感 系统 获取 图 像 的 过 程 中 ， 受 到 曝光 时 间 等 成 像 条 件 的 影响 ， 会 使 获取 的 图 
像 出 现 偏 亮 或 偏 暗 的 现象 ， 对 比 度 下 降 ， 不 能 很 好 地 反映 地 物 特征 ， 因 此 需要 对 遥感 图 像 
实现 对 比 度 增强 运算 ， 保 证 遥感 图 像 具 有 更 好 的 清晰 度 。 常 用 的 图 像 对 比 度 增强 方法 主要 
包括 直方 图 修正 法 和 直接 灰 度 变换 法 。P 下 文 首先 介绍 这 两 类 方法 。 


2.3.1 直方 图 修正 法 


数字 图 像 的 直方 图 是 作为 图 像 每 一 个 灰 度 级 的 统计 概率 分 布 ， 提 供 了 图 像 灰 度 分 布 的 概 
貌 。 直 方 图 修正 法 是 利用 调整 图 像 灰 度 分 布 来 提高 图 像 的 对 比 度 ， 使 图 像 更 加 清晰 。 直 方 图 
修正 法 又 可 分 为 直方 图 均衡 化 和 直方 图 规定 化 两 种 方法 。 直 方 图 均衡 化 是 指 将 原 图 的 直方 图 
通过 变换 函数 修整 为 平坦 的 直方 图 ， 然 后 按 均衡 直方 图 修正 原 图 像 ， 使 修正 后 的 图 像 灰 度 分 
布 更 加 均匀 ， 图 像 更 加 清晰 。 直 方 图 规定 化 也 称 为 直方 图 匹配 ， 该 方法 可 使 处 理 后 的 图 像 具 
有 特殊 规定 的 直方 图 。 在 直方 图 均衡 化 方法 的 基础 上 ， 又 产生 了 局 部 区 域 修正 方法 ， 是 指针 
对 图 像 中 的 特殊 局 部 区 域 进行 直方 图 修正 。 色 下 文 将 具体 介绍 直方 图 均衡 化 方法 。 

令 变量 x 和 s 分 别 代 表 图 像 增强 前 后 的 像素 灰 度 级 ， 相 应 灰 度 级 分 布 的 概率 密度 分 别 为 
P,()、P.(s)。 中 理想 情况 下 ， 图 像 经 直方 图 修正 后 ， 将 使 所 有 灰 度 级 上 的 像素 分 布 概率 密 
度 为 1。 设 原 像素 的 灰 度 值 x 被 归 一 化 到 区 间 [0，1]， 且 概率 密度 为 P(x); 经 过 变换 后 的 像 
素 灰 度 为 *， 概 率 密度 为 Ps)， 变 换 函数 为 Tz)， 则 有 以 下 等 式 

s-T(, 0<r<1 (2-17) 
P(s)ds-P,(r)dr (2-18) 





Ri 
N 
dh 
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变换 函数 为 To) 必须 同时 满足 以 下 条 件 : 

(1) TU 是 单 值 单 调 递增 函数 ， 以 确保 其 反 变 换 的 存在 ， 保 证 灰 度 的 单 值 映 射 ， 使 变换 
后 图 像 的 亮度 范围 不 会 被 颠倒 ; 

(2) 070) 夺 1， 保 证 图 像 经 过 变换 后 不 会 缩小 灰 度 动态 范围 。 








如 果 令 
s=70)=| Pondw (2-19) 
则 有 
ds dT d 
m S foe entw|- o 20) 


将 式 (2-20) 代 入 式 (2-18) 可 得 


ps(s)= noft zol 1 0xsxl (2-21) 


此 可 知 ， 当 变换 函数 取 式 (2-20 时 ， 则 变换 后 的 概率 密度 函数 为 常量 1。 以 上 是 连续 
函数 变换 的 公式 ， 用 于 数字 图 像 处 理 时 ， 如 果 图 像 灰 度 有 Z 阶 ， 则 变 为 

















-T(r,)- X» 22 k=0, 1, 2, -…, L-1 Q-22) 
式 中 ，k 代 表 图 像 的 灰 度 级 数 ， 代表 总 像素 数 ， 代表 / 灰 度 层 上 像素 的 个 数 ，p,(r,) 代 表 j 
灰 度 层 上 的 概率 密度 ，7(n) 代 表 k 灰 度 层 上 像素 的 变换 函数 ，sx(0 志 si 夺 1) 为 最 终 的 变化 结 
果 。 原 始 图 像 及 直方 图 ， 如 图 2-10 所 示 。 均 衡 化 后 的 图 像 及 直方 图 ， 如 图 2-11 所 示 。 














图 2-10 原始 图 像 及 直方 图 
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图 2-11 均衡 化 后 的 图 像 及 直方 图 


2.3.2 直接 灰 度 变 换 法 


直接 灰 度 变换 法 是 比较 简单 、 常 用 的 增强 图 像 对比 度 的 方法 ， 也 称 为 对 比 度 变换 、 点 
运算 或 点 处 理 。 常 用 的 直接 灰 度 变换 法 包括 灰 度 级 线性 拉 伸 和 灰 度 级 非 线 性 拉 伸 。Ba 这 些 
方法 使 整 幅 图 像 或 图 像 中 某 一 区 域 里 的 各 像素 点 的 灰 度 级 ， 都 按 某 一 规律 进行 变换 ， 由 此 
可 改变 图 像 的 对 比 度 。 可 用 下 式 表示 

ge, VTE, »)J] (2-23) 
式 中 ，g(x， 功 、ftx， 功 分 别 表示 对 应 于 像素 在 (x，y) 的 理想 灰 度 级 、 实 际 灰 度 级 ，7[ 口 ] 是 
一 个 预定 的 变换 函数 ， 不 同 的 函数 关系 可 以 得 到 不 同 的 变换 结果 。 

1. 灰 度 级 线性 拉 伸 

假定 原 图 像 的 灰 度 级 范围 是 [a，]， 变 换 后 图 像 的 灰 度 级 范围 扩大 到 [m，]， 那 么 实 
现 这 一 目标 的 线性 变换 公式 为 





ge, 3) 5 E -alm (2-24) 


式 中 ，g(x， 力 、flx，J) 为 变换 前 后 (x，y) 点 的 灰 度 值 ， 一 般 m、n 可 分 别 取 0、255。 
在 图 像 处 理 过 程 中 ， 可 以 采用 灰 度 变换 的 另 一 种 形式 ， 即 分 段 线性 变换 。 
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了 xj， y) Ox f(x, y)<a 
ge» »)- [2 yaje a& f y)&b Q25) 
M, -d 





M, - x[fG y) bd b<f (x, EM 


式 中 ，M、、M, 分 别 为 原 图 像 和 变换 后 图 像 的 最 大 灰 度 级 。 如 图 2-12 所 示 ， 通 过 调节 折线 拐 
点 的 位 置 及 各 折线 的 斜率 ， 即 控制 参数 4s，b，c，d 的 取 值 ， 可 实现 对 任 一 灰 度 区 间 的 扩展 
和 压缩 。 分 段 线 性 的 处 理 结果 如 图 2-13 所 示 。 经 过 分 段 线 性 变换 后 ， 可 使 关心 的 图 像 细节 
的 灰 度 范围 得 以 扩展 ， 增 强 其 对 比 度 ; 同时 使 不 关心 的 图 像 细节 处 的 灰 度 范围 得 以 压缩 ， 
降低 其 对 比 度 。 灰 度 变换 前 后 ， 整 幅 图 像 总 的 灰 度 范围 是 不 变 的 。 





1 
1 
1 
1 
1 
1 
1 
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1 
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(a) 原始 图 像 O) 线性 拉 伸 后 的 图 像 
图 2-13” 灰 度 线性 拉 伸 增 强 结果 
2. 灰 度 级 非 线 性 拉 伸 
非 线 性 变换 是 指 希望 按照 要 求 的 非 线 性 关系 对 原 图 像 进行 变换 。 有 时 ， 需 要 在 某 一 灰 
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度 级 范围 内 扩展 较 多 ， 在 该 灰 度 范围 两 端 扩展 较 少 ， 使 增强 后 的 图 像 视觉 效果 更 好 ， 这 时 
就 可 以 使 用 灰 度 级 非 线 性 变换 。 

如 图 2-14 所 示 ， 可 以 利用 一 些 数学 函数 进行 非 线性 变换 ， 如 对 数 、 平 方 、 指 数 等 。 对 
数 变 换 的 一 般 表 达 式 为 














s-clog(147) (2-26) 


g(x.y) 








图 2-14” 非 线性 变换 
其 中 是 一 个 常数 ， 并 假设 "过 0， 可 以 利用 变换 来 扩展 被 压缩 的 高 值 图 像 中 的 暗 像素 。 
相对 的 是 反对 数 变换 的 调整 值 。 罕 次 变换 的 基本 形式 为 
s-cr! (2-27) 
其 中 c 和 ?为 正常 数 。 有 时 考虑 到 偏 移 量 ( 即 当 输 入 为 0 时 的 可 测 输出 )， 式 (2-27) 也 可 写成 
s=c(r+e)。。 处 理 结果 如 图 2-15 和 图 2-16 所 示 。 








(a) 原始 图 像 (b) 对 数 变换 后 的 图 像 (c-35) 
图 2-15 ”对 数 变换 增强 结果 
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(a) 原始 图 像 (b) 军 次 变换 后 的 图 像 (c=2，y=1.002) 





图 2-16 窜 次 变换 增强 结果 


2.3.3 Wavelet 与 Curvelet 变 换 相 结合 的 图 像 增强 方法 


近年 来 ， 小 波 分 析 (Waveleb 理 论 受到 众多 学 科 的 共同 关注 。 小 波 变换 是 传统 傅 里 叶 变 
换 的 继承 和 发 展 。 由 于 小 波 的 多 分 辩 率 分 析 具 有 良好 的 空间 域 和 频率 域 局 部 化 特性 ， 对 高 
频 采 用 逐渐 精细 的 时 域 或 空域 步 长 ， 可 以 聚焦 分 析 对 象 的 任意 细节 ， 因 此 特别 适合 于 图 像 
信号 这 一 类 非 平稳 信 源 的 处 理 ， 己 成 为 一 种 信号 /图 像 处 理 的 新 手段 。Curvelet 变 换 是 继 小 
波 变换 之 后 ， 更 适合 图 像 处 理 特 点 的 一 种 多 尺度 变换 ， 它 能 同时 获得 对 图 像 平滑 区 域 和 边 
缘 部 分 的 稀疏 表达 ， 且 具有 很 强 的 方向 性 ， 已 有 初步 结果 显示 其 在 图 像 处 理 中 的 发 展 潜 
力 。Velde 提 出 了 一 种 基于 小 波 变换 的 弱 边 缘 增 强 算法 。 首 先 采 用 二 进 制 小 波 对 图 像 进 行 
分 解 ， 再 对 小 波 系数 进行 修正 ， 以 此 达到 边缘 增强 的 目的 。 但 基于 小 波 变换 的 对 比 度 增 强 
方法 对 于 各 向 异性 的 特征 检测 不 具有 自 适应 性 ， 所 以 在 对 非 直线 的 边缘 增强 时 就 不 能 达到 
理想 的 效果 ， 而 Curvelet 变 换 由 于 采用 了 具有 高 度 方向 敏感 性 的 基 元 ， 在 对 各 种 不 同形 状 
的 边缘 进行 增强 的 时 候 能 起 到 很 好 的 效果 。 根 据 两 种 增强 方法 各 自 的 优点 ， 提 出 基于 小 波 
和 Curvelet 变 换 相 结 合 的 增强 算法 (CEA) 对 图 像 进行 增强 处 理 。 

1. 小 波 增 强 方 法 

与 传 里 叶 变换 相 比较 ， 小 波 变换 拥有 空域 (时 域 ) 和 频 域 “变焦 距 ” 分 析 能 力 。 对 二 维 
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函数 fm，n) 进 行 离散 小 波 变 换 ， 能 够 得 到 一 个 低 通 子 带 S 和 三 个 具有 方向 选择 性 的 高 通 子 
带 图 像 瑟 ,，， 对 低 通 带 8 继续 分 解 可 以 得 到 Km ， 站 的 多 级 小 波 分 解 。 包 这 一 分 解 过 程 的 结 
果 可 以 表示 为 
Wif(m, n)y-(H, ,=W [f(m, n], S) 
1<i<3, 1xj«J 
AF, H, 是 指 尺度 j 和 方向 i 上 的 细节 信息 ; 8 是 指 在 最 高 尺度 /上 对 图 像 的 概貌 描述 ， 代 
表 了 图 像 的 低频 信息 。 

图 像 的 高 频 内 容 集中 在 低 尺 度 的 高 通 带 到 ) 中 ， 而 图 像 中 噪声 部 分 主要 集中 于 低 尺 度 
的 五, 中。 为 了 克服 普通 增强 方法 中 常 有 的 对 噪声 过 分 增强 的 缺点 ， 应 该 对 不 同 尺 度 的 分 
解 系数 进行 不 同 程度 的 增强 。 

2. Curvelet 增 强 方 法 

离散 Curvelet 变 换 过 程 如 图 2-17 所 示 ， 从 图 中 我 们 可 以 看 出 Curvelet 变 换 可 分 为 以 下 4 
Ap, 


(2-28) 







Co 
256*256 






平滑 分 害 c 
32*32 | S12*512 1024*1024 





256*256 


平滑 分 割 Q 
16*16 [sizsiz | Ridgelet 变 换 1024*1024 


图 2-17 ”Curvelet 变 换 过 程 


1) 子 带 分 解 
在 Curvelet 变 换 的 分 解 过 程 中 ， 首 先 要 进行 子 带 分 解 ， 采 用 滤波 器 p。，D.(s 宇 0) 将 /分 
解 为 
I| G4, DI, DJ.) (2-29) 
2) 平滑 分 割 
为 了 实现 平滑 分 割 ， 定 义 平滑 窗口 woCa，z)， 该 窗口 位 于 方形 区 域 


k k+l k, k+l 
S Ps i | 2-30 
9-E3 p) x E 9 Q-30) 


将 窗口 与 函数 相 乘 ， 就 得 到 位 于 C 的 方形 区 域 。 分 割 过 程 应 用 于 7 的 各 个 子 带 











第 2 章 ”遥感 图 像 的 基础 理论 及 相关 知识 | 41 











DJ| (w,D,I» QeQ, 
3) 重 正规 化 
对 每 个 方形 




















区 





域 @ 进 行 定义 

(TD x)-2719 x [f 2x0) 

E 规 化 后 得 到 
scr(opnooDD，O<O， 





对 上 述 平滑 分 块 进行 重 





El 


4) Ridgelet 分 解 


(2-31) 


(2-32) 


(2-33) 











最 后 ， 进 行 基 函 数 为 p; 的 正 交 Ridgelet 分 解 ， 分 解 过 程 如 图 2-18 所 示 。 首 先 对 图 像 进行 














Radon 变 换 ， 然 后 再 执行 一 维 小 波 变 换 。 由 于 Curvelet 变 换 采用 了 具有 高 度 方向 敏感 性 的 基 























元 ， 所 以 在 对 各 种 不 同形 状 的 边缘 进行 增强 的 时 候 能 起 到 很 好 的 效果 。 在 Curvelet 增 强 算 














法 中 ， 定 义 一 个 函数 y. 对 Curvelet 变 换 的 系数 进行 修正 。 


y(x 0)=1, if(x< co) 





x-co,m 2co -x 
XE: 0) = 一 一 (+ 一 一 一 
cO cO 


, if(x«2co) 
y, 9-O», if(2co x « m) 


yx, o) = if(x2m) 









Radon 变 换 

















| 
| | 
Ridgelet 变 换 后 
的 图 像 
角度 


图 2-18 ”Ridgelet 变 换 过 程 














(2-34) 
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令 m=c=p=0.5，s=0， 其 中 p 决 定 非 线 性 度 ，s 表 示 图 像 的 饱和 度 ，c 为 归 一 化 参数 ， 在 
c>3 时 保证 噪声 不 会 得 到 增强 ，m 可 以 由 噪声 的 标准 方差 m=,o 或 者 从 Curvelet 变 换 的 最 大 
系数 m=LMc，L<1 得 到 。M 9 基于 Curvelet 变 换 的 图 像 对 比 度 增强 过 程 如 下 所 述 。 

(1) 估计 输入 图 像 的 标准 噪声 方差 c。 

(2) 计算 图 像 的 Curvelet 系 数 ， 得 到 一 组 子 带 w， 每 一 个 子 带 w 包 含 W 个 系数 ， 对 应 于 
一 个 给 定 的 分 辩 率 。 

(3) 计算 每 一 个 Curvelet 变 换 子 带 w 中 的 标准 噪声 方差 。 

(4) 针对 每 一 个 wj 计 算 其 中 的 最 大 值 M， 然 后 用 y(lw, d 四 和 Curvelet 变 换 的 系数 
相 乘 。 

(5) 由 经 过 修正 的 Curvelet 系 数 重 构图 像 ， 便 实现 了 图 像 的 对 比 度 增强 。 

3. 组 合 增强 算法 (CEA) 

组 合 增强 算法 包括 以 下 4 个 步骤 。 

(D 对 图 像 进 行 分 割 ， 分 割 成 平滑 区 域 和 边缘 部 分 。 平 滑 区 域 可 以 通过 计算 图 像 平 方 
差 来 得 到 ， 其 每 个 像素 被 定义 为 

Vi, j1- 9, UG. 71». o)? (2-35) 


Er 
这 里 C 为 以 [用 为 中 心 的 11xl11 窗 口 ， 对 于 图 像 站 的 平滑 区 域 ， 图 像 平 方差 应 接近 于 
噪声 方差 s， 则 可 以 通过 闵 值 检测 平滑 像素 
Vii. jlo x (1*) (2-36) 
为 一 个 非常 小 的 数 ， 其 他 不 符合 条 件 的 像素 被 定义 为 边缘 像素 。 
(2) 对 图 像 7 的 平滑 区 域 进行 DWT 增 强 。 
(3) 对 图 像 ! 的 边缘 部 分 进行 Curvelet 增 强 。 
(4) 利用 B、C 中 得 到 的 两 幅 图 像 进行 融合 。 设 平滑 区 域 的 像素 值 为 L(x，y)， 边 缘 区 域 
的 像素 值 为 h(x，y)， 经 过 计算 后 得 到 新 的 像素 值 为 x，y)， 其 中 x*，yEN。 采 用 空域 中 点 
处 理 方式 ， 逐 个 像素 点 进行 运算 。 为 了 方便 处 理 ， 先 将 两 幅 图 像 划 分 为 3x3 的 矩形 区 域 ， 
在 处 理 过 程 中 ， 设 定 一 个 融合 函数 ， 使 其 满足 如 下 关系 
JG, y)» FS(x, yl, y) - 5G, y*PLG, y) (2-37) 
其 中 ，F 为 融合 因子 ， 规 定 了 融合 算法 的 步 长 ， 这 里 取 f= 0.1，S(x，y) 为 与 位 置 坐标 有 关 
的 系数 ， 规 定 融 合 是 图 像 渐变 的 方式 。S(x，»y) 取 为 
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Sx, y)- JG -R)** Q -R* (2-38) 
其 中 ，R.、 马 是 矩形 区 域 的 中 心 。 
CEA 原 理 图 ， 如 图 2-19 所 示 。 








[was ee >[Dwr 增 强 | 


图 2-19 CEA 原理 图 





2.4. 实验 结果 与 分 析 


可 进行 融合 增强 结果 评价 的 图 像 统计 参数 包括 图 像 的 交叉 焙 、 增 强 前 后 图 像 的 相关 系 
数 等 。 

(1) 2E 3Ufi(Cross Entropy). ZNAT ARE BEP LOK HE A) 8 f RC 2 RR, SECUN 
越 小 ， 说 明 融 合 后 图 像 与 标准 参考 图 像 的 差异 越 小 ， 效 果 越 好 。 若 标准 参考 图 像 为 R， 融 
ES. Wa SUB 

UE ZA log I (2-39) 


Pr 
其 中 ，P 为 图 像 x 中 灰 度 值 为 ;像素 数 与 图 像 总 像素 之 比 ，P; 为 图 像 r 中 灰 度 值 为 ;的 像素 数 
与 图 像 总 像素 数 之 比 。 
Q) 相关 系数 CORR。 图 像 的 相关 系数 反映 了 两 幅 图 像 的 相关 程度 。 
XX. n-RtFG.)-FI 
CORR--——— = i T 
[EX ot ean o-ry 


其 中 ， 及、F 分 别 为 图 像 X、F 的 灰 度 平均 值 。 实 验 结果 如 表 2-3 所 示 。 





(2-40) 
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表 2-3 图像 增强 评价 指标 








增强 方法 相关 系数 
直方 图 均衡 化 0.9563 
线性 拉 伸 0.962 4 
CEA 算 法 0.973 8 
原 图 像 如 图 2-20 所 示 。 


对 原 图 像 进行 直方 图 均衡 化 处 理 后 的 图 像 结 果 ， 如 图 2-21 所 示 。 


x; t 










图 2-20 原始 图 像 图 2-21 直方 图 均衡 化 后 的 结果 


对 原 图 像 进行 线性 拉 伸 的 结果 ， 如 图 2-22 所 示 。 
对 原 图 像 进行 CEA 增 强 后 的 结果 ， 如 图 2-23 所 示 。 





图 2-22 线性 拉 伸 的 结果 图 2.23 CEA 增强 后 的 图 像 
边缘 增强 的 效果 用 对 比 度 改善 指数 CII(The Contrast Improvement Index) 来 衡量 。CII 
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定义 为 
ENE (2-41) 
将 图 像 分 成 3x3 的 小 块 图 像 ，C 为 所 有 3x3 小 块 图 像 对 比 度 的 平均 值 ， 对 比 度 定义 为 
(maxDmin)/(max+min)，max 为 该 块 图 像 灰 度 值 的 最 大 值 ，min 为 该 块 图 像 灰 度 值 的 最 小 
值 。 计 算 如 图 2-24 所 示范 围 内 的 对 比 度 改善 指数 ， 结 果 如 表 2-4 所 示 。 





图 2-24 ”CII 计算 范围 
表 2-4 ”对 比 度 改善 指数 


计算 范围 所 在 位 置 左下 
直方 图 均衡 化 1.972 4 
线性 拉 伸 2.0148 
CEA 算 法 2.759 2 





2.5 结论 





本 章 主要 研究 图 像 拼接 的 前 期 处 理工 作 ， 包 括 图 像 校正 和 增强 处 理 。 几 何 校正 是 遥感 
图 像 处 理 中 的 重要 内 容 ， 具 有 计算 量 大 、 耗 时 长 的 特点 。 为 了 加 快 几何 校正 的 处 理 ， 针 对 
遥感 图 像 ， 我 们 研究 并 实现 了 一 种 分 布 存 储 环境 下 的 并 行 几 何 校正 算法 。 在 该 算法 中 ， 
每 个 处 理 器 通过 计算 本 地 输入 子 图 像 在 目标 图 像 中 的 对 应 区 域 ， 并 对 该 区 域内 的 像 元 进行 
灰 度 值 重 采样 ， 使 并 行 计算 过 程 中 所 需 的 数据 全 部 为 本 地 数据 ， 整 个 计算 过 程 无 须 通信 ， 
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很 好 地 解决 了 数据 局 部 性 问题 ， 大 大 提高 了 并 行 效率 。 本 章 对 输出 图 像 块 的 存储 结构 与 局 
部 输出 区 域 的 计算 方法 进行 了 详细 讨论 ， 并 在 机 群 系统 上 实现 算法 。 利 用 大 小 不 同 的 遥 
感 图 像 进 行 测试 ， 结 果 表 明 算 法 具有 良好 的 并 行 性 能 ， 且 网 络 带 宽 越 高 ， 算 法 的 可 扩 
展 性 越 好 。 

另外 ， 本 章 采用 CEA 增 强 算法 ， 充 分 结合 小 波 变换 多 尺度 分 析 的 能 力 和 Curvelet 变 换 
对 方向 的 高 度 敏感 性 ， 对 图 像 分 割 后 采用 不 同 尺度 上 的 系数 进行 不 同 程度 的 增强 ， 以 避免 
单一 手段 的 增强 方法 在 图 像 质量 方面 的 不 足 。 在 去 除 噪声 的 同时 ， 它 保留 了 边缘 细节 ， 明 
显 改善 了 图 像 质 量 ， 后 续 特征 点 提取 的 准确 率 也 有 了 明显 提高 ， 增 强 后 的 图 像 上 ， 图 像 的 
对 比 度 有 了 明显 提高 ， 尤 其 将 图 像 中 一 些 比较 模糊 的 区 域 变 得 清晰 。 它 可 应 用 于 一 般 的 低 
对 比 度 图 像 的 边缘 提取 ， 进 而 对 图 像 中 感 兴趣 的 区 域 进行 分 割 。 实 验 结果 表明 ，CEA 算 法 
与 传统 的 增强 算法 相 比 ， 提 高 了 对 比 度 改善 指数 ， 增 强 效果 很 好 。 


第 3 章 
灰 度 序列 遥感 图 像 拼接 
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通过 机 上 图 像 数 据 压缩 与 传输 系统 ， 无 人 机 将 快 视图 无 线 实时 下 传 到 地 面 移动 接收 设 
备 。 对 于 无 人 机 遥感 监测 系统 获取 的 遥感 图 像 ， 需 要 实现 快速 的 实时 序列 图 像 的 拼接 ， 从 
而 得 到 地 物 全 局 图 像 图 ， 以 方便 地 面 专家 的 实时 分 析 和 决策 ， 保 证 航 迹 规划 的 正确 执行 。 
快速 序列 实时 拼接 所 要 完成 的 具体 任务 是 接收 无 人 机 传送 的 快 视 序列 图 像 ， 实 时 完成 每 一 
帧 接收 图 像 与 上 一 帧 图 像 的 拼接 ， 得 到 地 物 全 局 图 像 图 ， 使 地 面 监控 人 员 能 迅速 观察 到 无 
人 机 的 飞行 航 迹 ， 同 时 判断 无 人 机 图 像 拍摄 过 程 中 是 否 存在 漏 拍 、 错 拍 等 现象 ， 以 重新 调 
整 无 人 机 的 飞行 航 迹 ， 保 证 无 人 机 成 功 完成 航拍 任务 。 如 何 根据 无 人 机 图 像 获取 的 特征 ， 
提高 图 像 匹配 的 实时 性 ， 是 实现 无 人 机 航空 迁 感 图 像 拼 接 的 关键 。 

由 于 成 像 时 间 、 成 像 角度 和 成 像 机 理 不 同 ， 这 些 图 像 对 同一 地 面 特征 的 反应 不 尽 相 
同 ， 通 过 研究 发 现 ， 主 要 相似 点 是 道路 、 建 筑 物 、 植 被 区 等 的 形状 特征 。 由 此 可 见 ， 景 物 
的 边缘 形状 特征 是 这 些 图 像 共 同 具有 的 特征 ， 因 此 ， 对 于 不 同性 质 的 图 像 的 配 准 ， 研 究 其 
边缘 特征 ， 尤 其 是 其 中 大 的 边缘 特征 ， 是 进行 精确 匹配 的 关键 。 因 为 大 的 边缘 是 高 频 信 
息 ， 是 不 同 传感器 共有 的 信息 ， 并 在 不 同 分 辩 率 的 图 像 中 都 能 保持 相对 稳定 ， 都 比较 容易 
被 检测 。 另 外 ， 采 用 大 的 边缘 作为 匹配 特征 ， 可 以 减少 小 的 边缘 的 干扰 ， 从 而 提高 配 准 的 
精度 和 速度 ， 为 顺利 实现 拼接 打下 良好 的 基础 。 

本 章 提 出 一 种 小 波 变换 与 Canny 算 法 相 结合 的 遥感 图 像 大 边缘 检测 方法 ， 该 方法 是 为 
图 像 配 准 而 设计 的 。 该 方法 将 小 波 变换 多 分 辨 率 分 析 特 性 和 Canny 算 法 检测 边缘 思想 相 结 
合 ， 提 取 遥 感 图 像 中 大 的 边缘 ， 确 定 两 幅 图 像 的 重合 范围 ， 提 取 具 有 丰富 图 像 信 息 的 模 
板 ， 设 计 模板 匹配 搜索 策略 ， 完 成 重合 图 像 区域 的 粗 匹 配 和 细 匹 配 ， 得 到 两 帧 图 像 相对 的 
位 置 偏 移 。 根 据 图 像 匹 配 的 计算 结果 ， 完 成 前 后 两 帧 图 像 的 对 接 ， 并 对 图 像 拼接 过 渡 区 域 
的 幅度 值 平 滑 化 。 


3.1 图 像 边缘 检测 





图 像 的 边缘 是 图 像 最 基本 的 特征 ， 是 图 像 的 一 个 属性 区 域 和 另 一 个 属性 区 域 的 交接 
处 ， 是 区 域 属性 发 生 突变 的 地 方 ， 是 图 像 中 不 确定 性 最 大 的 地 方 ， 也 是 图 像 信 息 最 集中 的 
地 方 ， 图 像 的 边缘 包含 丰富 的 信息 。 常 见 的 边缘 检测 算法 有 以 下 几 种 。 
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3.1.1 微分 算 子 法 


经 典 的 图 像 边缘 检测 的 微分 算 子 有 Roberts 算 子 、Sobel 算 子 、Prewitt 算 子 、Krisch 算 
子 、 拉 普 拉 斯 -高 斯 LOG) 算 子 等 。 在 这 些 算 子 中 ， 除 了 拉 普 拉 斯 -高 斯 算 子 ， 其 他 算 子 (如 
Sobel 算 子 、Prewitt 算 子 和 Krisch 算 子 ) 都 是 对 像素 点 的 邻 域 操作 ， 即 对 像素 点 及 其 周围 的 
一 定 邻 域 进行 综合 计算 ， 并 根据 这 个 计算 值 来 判断 该 像素 是 否 构 成 边缘 点 ， 并 没有 考察 边 
缘 点 之 间 的 联系 ， 梯 度 方向 信息 也 没有 得 到 充分 利用 ， 无 法 区 分 边缘 和 噪声 ， 无 法 检测 出 
图 像 中 不 同 尺 度 上 的 边缘 ， 对 于 细节 丰富 的 图 像 和 含 噪声 的 图 像 ， 检 测 效果 很 差 。 

LOG 是 基于 二 阶 导数 过 零点 的 边缘 检测 方法 ， 被 认为 是 微分 法 中 利用 平滑 二 阶 微分 检 
测 图 像 边缘 最 成 功 的 一 种 算 子 。LOG 是 通过 寻找 图 像 灰 度 值 中 二 阶 微分 中 的 过 零点 来 检测 
边缘 点 。 其 原理 是 灰 度 组 变形 成 的 边缘 经 过 微分 算 子 形成 一 个 单 峰 函 数 ， 峰 值 位 置 对 应 边 
缘 点 ; 对 单 峰 函数 进行 微分 ， 则 峰值 处 的 微分 值 为 0%， 峰 值 两 侧 符号 相反 ， 而 原先 的 极 值 
点 对 应 二 阶 微分 中 的 过 零点 ， 通 过 检测 过 零点 即 可 将 图 像 的 边缘 提取 出 来 。 

在 实际 中 ， 为 了 去 除 噪 声 的 影响 ， 首 先 要 使 用 二 维 高 斯 函数 对 图 像 进 行 去 噪音 和 平滑 
处 理 ， 然 后 对 滤波 后 的 图 像 求 二 阶 导 数 。 

H(x, ERU yx f(x, y) EmN 


其 中 V'GG »-—- eu Pi exp 2 n 2) 


使 用 LOG 算 子 对 图 像 进 行 处 理 后 ， 和 LOG 算 法 的 优势 是 
去 除 噪音 的 性 能 好 ， 提 取 边 缘 的 精度 高 ， 可 以 达到 像素 级 ;但 缺点 也 很 明显 ， 一 是 容易 产 
生 伪 边缘 ， 二 是 邻近 的 边缘 之 间 互 相干 扰 ， 提 取 的 边缘 可 能 有 误 。 


3.1.2 ”Canny 算 法 


Canny 算 法 认为 一 个 优良 的 边缘 检测 算 子 应 满足 以 下 3 个 判断 准则 。 

(1) 好 的 检测 性 能 。 不 漏 检 真 实 边缘 ， 也 不 把 非 边缘 点 作为 边缘 点 检 出 ， 使 输出 的 信 
噪 比 最 大 。 

(2) 好 的 定位 性 能 。 检 测 到 的 边缘 点 与 实际 边缘 点 位 置 之 间 的 偏差 最 小 。 

(3) 唯一 性 。 对 一 个 边缘 只 有 一 个 响应 。 
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根据 以 上 三 个 准则 ，Canny 算 法 推导 出 最 优 边 缘 检 测算 子 的 一 个 近似 实现 是 边界 点 位 
于 图 像 被 高 斯 函数 平滑 后 的 梯度 幅度 的 极 大 值 点 。 该 算法 主要 包括 以 下 几 个 步骤 。 

(1) 平滑 图 像 。 用 一 维 高 斯 函数 分 别 按 行 和 列 对 原始 图 像 进行 平滑 除 噪 ， 得 到 平滑 图 
像 。 这 一 步 实际 上 是 一 个 低 通 滤波 过 程 ， 用 于 消除 空间 尺度 小 于 高 斯 空间 系数 的 图 像 灰 度 
变化 。 

(2) 计算 梯度 的 幅 值 和 方向 。 对 平滑 图 像 使 用 如 图 3-1 所 示 的 2x2 大 小 模板 作为 对 x 和 y 
方向 偏 微分 的 一 阶 近 似 来 计算 其 梯度 的 大 小 和 方向 。 


ge) s) 
图 3-1 图 像 平滑 模板 
G) 对 梯度 幅 值 进行 非 极 大 值 抑制 。 为 了 精确 定位 边缘 ， 必 须 细 化 梯度 幅 值 图 像 中 的 
屋 消 带 ， 只 保留 幅 值 局 部 变化 最 大 的 点 。 
(4) 检测 和 连接 边缘 。 对 非 极 大 值 抑 制 后 形成 的 梯度 幅 值 图 采用 双 闵 值 算法 对 边缘 点 
进行 检测 和 连接 ， 形 成 边缘 。 
Canny 算 法 在 边缘 检测 方面 获得 了 良好 的 效果 ， 很 快 就 成 为 评价 其 他 边缘 检测 方法 的 
标准 。 然 而 ，Canny 算 法 在 实际 应 用 中 也 存在 一 些 问题 。 比 如 ，Canny 算 法 的 噪声 平滑 能 
力 与 边缘 定位 能 力 相 矛 盾 。 





3.1.3 数学 形态 学 在 边缘 检测 中 的 应 用 


数学 形态 学 是 建立 在 严格 数学 理论 上 的 一 门 新 兴学 科 "”， 它 已 从 二 值 形态 学 发 展 到 
灰 度 形态 学 ， 是 一 种 新 型 数字 图 像 处 理 方法 和 理论 。 它 的 基本 思想 是 用 具有 一 定形 态 的 结 
构 元 素 去 提取 图 像 中 对 应 的 形状 ， 以 达到 对 图 像 分 析 和 目标 识别 的 目的 。 它 可 以 用 来 解决 
抑制 噪声 、 特 征 提取 、 边 缘 检 测 等 图 像 处 理 问 题 。" ”数学 形态 学 中 二 值 图 像 的 形态 变 
换 的 基本 运算 是 腐蚀 和 膨胀 ， 腐 蚀 运 算 可 以 去 掉 图 像 中 比 结构 元 素 小 的 亮 细 节 ， 膨 胀 运算 
可 以 去 掉 比 结构 元 素 小 的 暗 细节 。 先 腐蚀 后 膨胀 的 过 程 称 为 开启 运算 ， 开 启运 算 可 以 消除 
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比 结构 元 素 小 的 亮 细 节 ， 而 保持 图 像 整 体 灰 度 和 大 的 亮 区 域 基本 不 受 影 响 。 先 膨胀 后 腐蚀 
的 过 程 称 为 闭合 运算 ， 具 有 填充 物体 内 细小 空洞 ， 连 接 临近 物体 和 平滑 边界 的 作用 。 该 算 
法 简单 ， 适 用 于 并 行 处 理 ， 且 易于 硬件 实现 ， 适 用 于 对 二 值 图 像 进行 边缘 提取 。" ”对 于 
在 不 同 的 应 用 场合 ， 结 构 元 素 的 选择 及 其 相应 的 处 理 算法 是 不 一 样 的 ， 结 构 元 素 的 大 小 、 
形状 选择 合适 与 否 ， 将 直接 影响 图 像 的 形态 处 理 结果 。 有 学 者 "构造 多 结构 元 的 边缘 
检测 算 子 ， 用 多 结构 元 进行 边缘 检测 ， 不 仅 具有 较 好 的 边缘 定位 能 力 ， 也 具有 很 好 的 噪声 
平滑 能 力 。 形 态 学 边缘 检测 算 子 中 的 结构 元 素 不 仅 有 形状 ， 而 且 有 大 小 (如 3x3、5x5 的 窗 
口 )， 因 此 可 以 用 多 尺度 的 结构 元 素 对 图 像 进行 多 尺度 的 边缘 检测 。 有 学 者 ”利用 不 同 
的 结构 元 素 在 不 同 尺度 上 进行 边缘 检测 ， 由 于 大 尺度 的 结构 元 素 检测 的 边缘 较 粗 ， 但 去 噪 
声 能 力 强 ， 小 尺度 的 结构 元 素 去 噪声 能 力 弱 ， 但 能 很 好 地 检测 到 边缘 细节 ， 将 两 者 结合 下 
得 到 较 理 想 的 边缘 图 像 。Soille"” 将 灰 度 形态 学 梯度 与 闹 值 相 结合 用 于 边缘 检测 ， 可 较 好 
地 检测 出 被 噪声 污染 的 图 像 中 的 边缘 。 

从 以 上 分 析 中 可 以 看 出 ， 现 有 的 边缘 检测 算法 都 是 用 于 提取 一 般 的 边缘 ， 而 在 遥感 
图 像 配 准 中 对 检测 出 的 边缘 有 特定 的 要 求 ， 它 要 求 检 测 出 来 的 边缘 是 一 种 比较 稳定 、 比 较 
大 的 边缘 ， 在 不 同时 间 、 不 同 角度 、 不 同 传感器 所 呈现 的 图 像 中 都 能 被 检测 出 来 ， 同 时 要 
求 检测 出 来 的 边缘 特征 分 布 比较 均匀 。 所 以 ， 这 些 已 有 的 方法 不 能 很 好 地 解决 这 个 问题 。 
为 了 满足 遥感 图 像 配 准 的 要 求 ， 本 书 提 出 了 一 种 结合 小 波 变换 和 Canny 算 法 的 边缘 提取 算 
法 。 该 算法 将 Canny 算 法 的 非 极 大 值 抑 制 、 双 阔 值 算法 与 小 波 变 换 多 尺度 分 析 思 想 相 结 
合 ， 利 用 Canny 算 法 在 高 分 辩 率 图 像 的 精确 定位 性 与 小 波 变换 后 的 低 分 辨 率 图 像 的 抗 噪声 
能 力 相 结合 ， 从 而 能 够 消除 噪声 的 和 干扰， 提取 更 加 完整 的 边缘 。 同 时 ， 该 算法 采用 自 适应 
闵 值 的 方法 ， 能 减少 由 于 噪声 和 图 像 对 比 度 差异 所 引起 的 边缘 漏 检 情况 的 发 生 。 


3.1.4 基于 小 波 变换 的 边缘 检测 方法 


取 一 个 二 维 光滑 函数 G(x，y)， 其 满足 以 下 条 件 
0 y)20 
ff us 00 y)dxdy- C (3-2) 


把 它 在 x、y 方 向 的 一 阶 偏 导 作为 两 个 基本 小 波 ， 则 
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0,065. y) 
Ox 
o 0,0(x, y) 
we X74 77 
M y)e Lao) NAE E SJ 
rea 
W?fQ)- f*v?() 
车 以 二 进 制 的 小 波 变换 表示 ， 即 取 >， 则 有 如 下 两 个 分 别 沿 x、y 方 向 的 分 量 


W'S, y)- f*v?G. X) 2 5-78, wD 


v?Gs. y)- 
G-3) 


(3-4) 


be 6-5) 
W; fG, y)- frp, y) VES, ») 


式 (3-5) 可 记 为 矢量 形式 


0 
, LU *6,)6. ») 
W. , ; " - 
inis Pr ri -2('*0,)0 ») G-6) 
UMS Vo, 
HUERTELAE HH, NCBI PRA IHE Sfc. E vT EE E A E 
比 。ftx， EREE S 的 边缘 点 就 是 这 一 梯度 向 量 模 的 最 大 值 点 ， 而 这 一 梯度 向 量 的 方向 正 
是 fx， 的 偏 导数 变化 最 迅速 的 方向 。 在 每 个 尺度 ;= 上， 梯度 幅 值 和 梯度 方向 分 别 为 


MfG, D= fs vp pa res p 

A, f(x, y) - tanq], f Gs, »J/|W fx, »p 

ERU, TAERE F REREN AS y EHREBERENSEML Gc, y) HB AS 

然后 根据 选取 阔 值 的 某 种 方法 确定 一 个 阔 值 7， 以 取 含 该 极 大 值 点 ， 再 进行 二 值 化 就 得 到 
图 像 的 边缘 。 





(3-7) 


3.2. 小波 变换 与 Canny 算 法 相 结合 的 边缘 检测 方法 


本 书 提出 的 小 波 变换 与 Canny 算 法 相 结合 的 自 适 应 边缘 检测 算法 的 主要 思路 是 : 将 遥 
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感 图 像 先 利用 小 波 变换 进行 多 分 辨 率 分 解 ， 生 成 不 同 分 辩 率 的 图 像 ， 再 对 每 个 分 辩 率 的 图 
像 计算 梯度 的 幅 值 、 方 向 和 对 梯度 幅 值 进 行 非 极 大 值 抑制 ， 然 后 结合 多 层 梯度 幅 值 信息 采 
用 双 阔 值 算法 对 边缘 点 进行 检测 和 连接 ， 形 成 边缘 。 该 算法 的 主要 步骤 如 下 所 述 。 
1. 生成 多 尺度 梯度 图 像 
先 应 用 离散 小 波 变换 将 原始 图 像 进行 多 尺度 分 解 。 对 原始 图 像 通过 2D 离 散 小 波 分 解 
可 以 得 到 4 个 子 图 像 ， 一 个 低频 信号 ZL, 和 三 个 方向 的 高 频 分 量 信 号 LH,、HL,、HH,。 在 第 
一 层 分 解 时 ， 不 进行 下 采样 (Down Sample)， 所 以 得 到 的 4 个 子 图 像 与 原始 图 像 的 大 小 相 
同 。 低 频 信 号 ZZ,， 又 可 以 进一步 分 解 成 4 个 子 带 ， 可 以 根据 需要 继续 往 下 分 解 ， 一 般 分 解 
到 第 三 层 、 第 四 层 。 分 解 完 成 后 分 别 计算 每 一 层 图 像 的 梯度 幅 值 Myf， 生 成 相应 的 梯度 幅 
值 图 像 ， 并 计算 梯度 方向 43f。 
2. 对 梯度 进行 非 极 大 值 抑 制 
梯度 幅 值 图 像 阵 列 M(i, 的 值 越 大 ， 其 对 应 的 图 像 梯 度 值 也 越 大 ， 但 这 不 足以 确定 
边缘 ， 为 了 确定 边缘 ， 必 须 细 化 幅 值 图 像 中 的 屋 兰 带 ， 这 样 才 会 生成 细 化 的 边缘 。 非 极 大 
值 抑制 通过 抑制 梯度 方向 上 所 有 非 屋 消 峰值 的 幅 值 来 细 化 Mi 有) 中 的 梯度 幅 值 屋 硝 。 这 个 
过 程 具体 如 下 : 首先 将 梯度 方向 4(i， 有 ) 变 成 属于 如 图 3-2 所 示 的 4 个 区 之 一 ， 再 使 用 3x3 大 
小 ， 包 含 8 个 方向 的 邻 域 对 梯度 幅 值 阵列 M(i，j) 的 所 有 像素 沿 梯度 方向 进行 梯度 幅 值 的 插 
值 。 在 每 一 个 点 上 ， 邻 域 的 中 心 像素 与 沿 梯度 方向 的 2 个 梯度 幅 值 的 插值 进行 比较 ， 如 果 
邻 域 中 心 点 的 幅 值 不 比 梯度 方向 上 的 2 个 插值 结果 大 ， 则 将 该 点 幅 值 MGi, 由 标记 为 0。 经 过 
这 一 过 程 处 理 后 宽 屋 疹 带 细 化 成 只 有 一 个 像素 点 宽 ， 在 非 极 大 值 抑 制 过 程 中 ， 保 留 了 屋 疹 
的 高 度 值 。 对 每 一 层 的 梯度 图 像 都 进行 非 极 大 值 抑制 ， 生 成 相应 的 非 极 大 值 抑制 幅 值 图 。 
回回 加 
effe] 
Jas] 
图 3-2 扇 区 示意 图 
3. 阅 值 化 和 边缘 连接 
阔 值 化 是 对 非 极 大 值 抑制 幅 值 图 梯度 图 像 进行 双 阔 值 处 理 生成 二 值 化 图 像 。 高 、 低 闭 
值 7h 和 71， 设 定 方法 是 一 种 自 适 应 动态 闪 值 方法 。 对 第 一 层 生成 的 非 极 大 值 抑制 幅 值 图 梯 
度 图 像 取 两 次 六 值 Th 和 71。 首 先 将 梯度 值 小 于 71 的 像素 的 梯度 设 为 0%， 得 到 二 值 化 图 像 ; 
然后 将 梯度 值 大 于 7 的 像素 的 梯度 设 为 !， 得 到 二 值 化 图 像 ,。 对 其 他 层 生成 的 非 极 大 值 
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抑制 幅 值 图 梯度 图 像 取 一 次 闵 值 77， 生 成 相应 的 二 值 化 图 像 。 图 像 7, 闵 值 较 高 ， 噪 声 较 
少 ,但 会 造成 边缘 信息 损失 ;而 图 像 闵 值 较 低 ， 保 留 了 较 多 信息 ， 图 像 I 是 根据 低 分 辨 
率 图 像 生成 的 ， 受 噪声 影响 小 。 因 而 可 以 以 图 像 1 ,为 基础 ， 以 图 像 I ,和 为 补充 来 连接 图 
像 的 边缘 。 
根据 多 层 边缘 图 连接 边缘 的 过 程 如 下 : 首先 在 图 像 1, 中 扫描 ， 当 遇 到 一 个 非 零 的 像素 
P 时 ， 跟 踪 以 P 为 起 始点 的 轮廓 线 ， 直 到 该 线 的 终点 0@; 然后 根据 以 下 准则 判断 终点 2 的 8 
邻近 区 域 是 否 存在 与 终点 CO 相连 的 边缘 点 。 
其 中 ，O 是 8 邻近 区 域 中 的 点 ，O 是 O 点 在 A 中 的 对 应 点 。 如 果 C(o)=1， 表 示 O 点 是 与 
点 相连 的 边缘 点 ， 将 其 纳入 图 像 1, 中 ， 作 为 边缘 点 ， 然 后 继续 跟踪 ， 在 图 像 7 ,中 重复 继续 
寻找 与 跟踪 以 P 为 开始 点 的 轮廓 线 ， 这 样 循环 下 去 直到 无 法 继续 为 止 ， 包含 P 的 轮廓 线 的 
连接 已 经 完成 ， 可 标记 为 “已 访问 过 ”， 然 后 依次 可 以 重复 寻找 图 像 中 的 每 一 条 轮廓 线 ， 
直到 在 图 像 1, 中 再 也 找 不 到 新 的 轮廓 线 为 止 。 
1 1,(0)=1 
Clo)=4 1 (0o)=1 且 1.(0) 是 局 部 梯度 最 大 点 。 
0 ”其 他 
采用 根据 多 层 边 缘 图 连接 边缘 的 方法 的 优点 是 利用 了 在 高 分 辨 率 下 边缘 点 的 定位 精确 
性 ， 同 时 又 利用 了 粗 分 辩 率 图 像 的 抗 噪 性 ， 使 连接 的 边缘 更 加 完整 。 


3.2.1 小 波 基 选择 


小 波 的 种 类 很 多 ， 如 Morlet 小 波 、Harr 小 波 、Marr 小 波 、Daubechies 紧 支 正 交 小 波 以 
及 样 条 小 波 等 ， 也 可 以 自己 构造 小 波 。 每 种 小 波 都 具有 各 自 不 同 的 特点 和 应 用 领域 ， 因 
此 应 根据 要 解决 问题 的 特点 来 选取 。 一 般 而 言 ， 在 图 像 边缘 检测 应 用 中 ， 小 波 应 满足 以 
下 准则 。 

准则 一 ， 紧 支 性 。 若 函数 w(x) 在 区 间 [a，5] 外 恒 为 零 ， 则 称 该 函数 在 这 个 区 间 上 紧 
支 。 紧 支 性 是 小 波 的 重要 性 质 ， 支 集 越 小 的 小 波 ， 局 部 化 能 力 越 强 ， 不 需要 做 截断 ， 也 就 
无 截断 误差 ， 所 以 精度 比较 高 ， 在 图 像 的 边缘 检测 中 ， 紧 支 小 波 基 是 首选 。 

准则 二 : 对 称 性 。 对 称 性 能 避免 信号 在 分 解 与 重 构 中 失真 ， 基 于 人 类 的 视觉 系统 对 边 
缘 附 近 对 称 的 量化 误差 较 非 对 称 误差 更 不 敏感 。 利 用 小 波 的 对 称 性 可 以 避免 边界 失真 ， 同 
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时 若 小 波 具 有 对 称 性 ， 则 在 频 域 上 为 线性 相位 ， 没 有 相位 畸变 而 且 计 算 方 便 。 

准则 三 : 适度 的 正则 性 。 正 则 性 一 般 用 来 刻画 函数 的 光滑 程度 ， 正 则 性 越 高 ， 函 数 越 
光滑 ， 在 频 域 中 能 量 越 集 中 。 对 非 紧 支 集 小 波 ， 小 波 滤波 器 越 光滑 则 收敛 越 快 ， 这 样 小 波 
系数 衰减 就 越 快 ， 截 断 误 差 就 越 小 。 尺 度 函 数 的 正则 性 与 小 波 函 数 的 消失 矩 成 对 应 关系 ， 
高 阶 正 则 性 的 尺度 函数 对 应 高 阶 消失 矩 的 小 波 函 数 。 但 是 正则 性 与 计算 效率 常常 是 一 对 了 矛 
盾 ， 正 则 性 越 高 ， 小 波 消失 和 矩 越 大 ， 计 算 越 复杂 。 

研究 "表明 ， 从 时 频 局 部 分 析 的 角度 在 噪声 抑制 能 力 和 边缘 提取 方面 三 次 B 样 条 函数 
是 渐进 最 优 的 。 因 此 选用 三 次 B 样 条 函数 作为 平滑 函数 ， 其 一 阶 导数 作为 小 波 函 数 。 这 是 一 
个 关于 原点 奇 对 称 的 小 波 ， 不 会 产生 时 间 ( 或 空间 ) 的 偏 移 ， 并 且 是 紧 支 撑 和 连续 可 微 的 。 


3.22 ” 自 适 应 确定 双 阅 值 


传统 的 Canny 算 法 采用 对 整 幅 图 像 使 用 固定 的 高 、 低 阐 值 设 定 方法 ， 无 法 顾及 图 像 中 
的 局 部 特征 信息 ， 一 方面 无 法 消除 局 部 噪声 干扰 ， 另 一 方面 会 丢失 灰 度 值 变化 缓慢 的 局 部 
边缘 ， 导 致 目标 物体 的 轮廓 边缘 不 连续 或 者 检测 不 到 一 些 目标 。 对 于 一 幅 具 体 图 像 ， 传 统 
的 Canny 算 法 检测 边缘 时 最 佳 的 高 、 低 阔 值 完全 依赖 人 工 获 得 ， 自 动 化 程度 低 。 本 书 采 用 
一 种 自 适 应 动态 阔 值 方法 ， 将 整 幅 图 像 分 割 为 若干 子 图 像 ， 为 了 使 轮廓 连续 ， 可 以 令 子 图 
像 之 间 有 一 定 的 重合 区 域 ， 再 根据 非 极 大 值 抑 制 后 的 结果 自 适应 地 设 定 各 子 图 像 的 高 、 低 
BIB. 

由 于 一 般 图 像 中 只 有 少量 的 像素 是 边缘 ， 所 以 图 像 中 非 边缘 所 占 比例 远大 于 边缘 所 占 
比例 ， 因 此 梯度 幅 值 分 布 一 般 是 单 峰 分 布 ， 并 可 以 认为 单 峰 分 布 的 峰 项 对 应 的 像素 集合 一 
定 是 非 边 缘 像 素 集合 。 将 梯度 幅 值 中 拥有 最 多 像素 的 梯度 称 为 像素 最 值 梯度 已 。。， 计 算 子 
图 像 内 全 部 像素 的 梯度 相对 于 像素 最 值 梯度 瓦 。。. 的 方差 ， 称 为 像素 最 值 梯度 方差 cn。 


MES |E, T (3-8) 
其 中 ，N 为 子 图 像 的 像素 总 数 。 


高 阔 值 也 必须 在 梯度 直方 图 中 非 边缘 区 域 以 外 选取 ， 和 否则 将 给 最 终结 果 带 来 很 多 的 
假 边 缘 噪 声 。 本 书 所 采用 的 方法 利用 像素 最 值 梯度 已。 和 像素 最 值 梯度 方差 cuse 自 适应 地 
设 定 高 阔 值 到 的 门限 ， 像 素 最 值 梯度 cu 反映 了 非 边 缘 区 域 在 梯度 直方 图 中 分 布 的 中 心 位 
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置 ， 而 像素 最 值 梯度 方差 cu 则 反映 了 梯度 直方 图 中 梯度 分 布 相对 于 像素 最 值 梯度 ca。 的 离 
散 程度 ， 也 就 是 相对 于 非 边缘 区 域 的 离散 程度 ， 我 们 近似 认为 如 果 高 闭 值 有 大 于 像素 最 值 
梯度 到 ,一定 倍数 的 最 值 梯度 方差 6 时， 就 可 以 认为 7 在 非 边 缘 区 域 以 外 ， 这 样 可 以 很 
好 地 防止 假 边 缘 在 轮廓 图 中 出 现 ， 因 此 可 以 用 像素 最 值 梯度 已 。. 和 像素 最 值 梯度 方差 ca 
计算 出 非 边 缘 区 域 的 范围 ， 从 而 确定 高 阐 值 7 的 门限 ， 然 后 根据 高 阐 值 7 的 门限 确定 低 阐 
值 77 的 门限 。 计 算 7h 和 TI 的 公式 为 
T, =H n + P*O 
T, =k*T, 
其 中 ，p 是 一 个 调整 因子 ， 一 般 在 2 至 5 之 间 ， 天 是 高 、 低 阔 值 间 的 一 个 比例 系数 ， 一 般 为 
0.4 左 右 。 采 用 自 适 应 动态 阔 值 方法 设 定 阔 值 ， 可 以 减少 因 局 部 图 像 灰 度 变 化 差异 大 小 不 
同 而 引起 目标 物体 的 轮廓 边缘 不 连续 或 者 检测 不 到 一 些 目标 的 情况 发 生 ， 同 时 也 可 以 在 一 
定 程度 上 提高 提取 边缘 的 自动 化 程度 。 

为 了 验证 小 波 变换 与 Canny 算 法 相 结合 的 边缘 检测 方法 的 有 效 性 ， 分 别 用 本 书 提出 的 
方法 、Canny 算 法 和 Log 算 法 对 一 幅 遥 感 影像 进行 边缘 检测 。 原 图 如 图 3-3 所 示 ， 图 3-4 为 本 
书 提出 算法 的 提取 结果 ， 图 3-5 为 Canny 算 法 的 提取 结果 ， 图 3-6 为 Log 算 法 的 提取 结果 。 

可 以 看 出 ， 本 书 提 出 的 算法 能 够 得 到 比较 完整 的 边缘 ， 能 减少 因 亮 度 不 一 致 而 导致 漏 


(3-9) 


检 边 缘 的 情况 发 生 ， 并 且 能 够 忽略 小 的 边缘 ， 能 够 满足 图 像 配 准 的 要 求 。 


7 T A 





图 3-3 原 图 | Eia ”本 书 提出 算法 的 提取 结果 
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图 3-5 ”Canny 算 法 的 提取 结果 图 3-6 Log 算法 的 提取 结果 


图 3-3 边缘 检测 结果 


33 图 像 匹配 


3.3.1 ”匹配 搜索 区 域 计算 


首先 ， 通 过 一 些 数据 对 两 幅 图 像 的 重合 区 域 进行 估计 ， 这 些 数 据 包 括 无 人 飞机 的 位 
置 、 姿 势 和 飞行 速度 。 假 设 向 东 的 速度 为 v。， 向 北 的 速度 为 v,， 采 样 的 时 间 间 距 为 TX， 则 
当时 与 正 东 面 的 位 移 偏 移 量 $, 和 与 正 北面 的 位 移 偏 移 量 S,， 可 以 进行 如 下 的 估计 

Sv. G-10) 
SEV Te G-11) 

用 志和 了 分 别 表示 两 幅 连 续 的 图 像 ， 它 们 之 间 存 在 相对 的 偏 移 量 和 重合 区 域 。 第 一 
幅 图 像 的 行 数 和 列 数 分 别 由 M, 和 入 表示， 第 二 幅 图 像 的 行 数 和 列 数 分 别 由 MM 和 入 ,表示 。 
在 图 3-7 中 ， 上 暗 灰 色 区 域 4, 表 示 两 幅 图 像 的 重合 区 域 ，4, 表 示 在 重 共 区 域 中 选取 的 一 个 小 
区 域 。 
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图 3-7 ”两 幅 图 像 的 重合 区 域 


首先 对 两 幅 图 像 重 登 区 域 的 范围 进行 估计 。 假 设 无 人 飞机 的 飞行 高 度 为 p， 无 人 机 上 相 
机 的 焦距 为 "， 每 幅 图 像 中 像素 的 宽度 为 ZL， 则 地 面 仪器 的 分 辨 力 r 可 以 按照 以 下 公式 计算 


ñ= LL 6-12) 
在 A 时间 内 ， 图 像 东 面 的 像素 偏 移 量 P, 和 图 像 北面 的 像素 偏 移 量 P 分 别 计算 为 
Bo e es 6-13) 
B= os Dee G-14) 
Dii, E3-Trb ORE CBUASI XINBI DEOS 
La Mp. 615) 
La œN, DPn G- 1 6) 


其 中 将 4, 中 的 行 数 定义 为 L,,， 列 数 定义 为 L。。 

为 了 减少 图 像 匹 配 中 的 计算 量 ， 特 征 模板 的 选取 被 限定 在 4, 中 ，4, 的 行 数 和 列 数 分 别 
被 定义 为 Lo 和 ZL。。， 它 们 分 别 为 Lo=Lo*0.8，Lw=Lm*0.8。 继 重合 区 域 4 确定 之后， 特征 模 
板 4, 已 经 被 确定 ， 可 以 进行 下 一 个 步骤 。 正 因为 区 域 4, 和 4, 被 限制 在 一 个 相对 较 小 的 图 像 
范围 内 ， 所 以 肯定 能 减少 在 图 像 匹配 过 程 中 的 计算 量 并 提高 其 可 靠 性 。 
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3.3.2 ”特征 模板 提取 


对 图 像 匹配 而 言 ， 在 前 一 幅 图 像 中 的 特征 模板 选取 是 非常 重要 的 。 一 些 被 处 理 的 图 像 
可 能 有 比较 光滑 的 区 域 ， 在 那些 图 像 中 亮度 的 变化 非常 微小 。 如 果 匹 配 模板 是 在 光滑 的 区 
域 中 选取 的 ， 那 么 不 可 避免 会 出 现 错误 拼接 的 情况 。 图 像 匹配 中 包含 丰富 信息 的 特征 模板 
是 根据 一 定 的 方法 选取 的 。 建 立 在 边缘 图 像 统计 数据 基础 上 来 选取 特征 模板 能 提高 图 像 匹 
配 的 可 靠 性 。 

特征 模板 应 该 含有 丰富 的 图 像 信息 ， 从 而 使 图 像 匹配 更 加 容易 和 准确 。 例 如 在 图 3-7 
中 ，4 即 在 重 登 区 域 中 选取 的 特征 模板 。 根 据 图 像 匹 配 中 对 精确 性 的 要 求 ， 假 设 特征 模板 
的 行 数 是 M,， 列 数 是 N,。 利 用 搜索 步 长 为 10， 从 左 到 右 、 从 上 到 下 的 顺序 搜索 特征 模板 。 
sum(i, 用 表示 在 (i, 有 站 位 置 与 模板 具有 相同 尺寸 大 小 的 图 像 区 域 7" ?中 所 有 像素 值 的 总 和 ， 
计算 公式 为 
(3-17) 


x-l 


sum(i, j)= 
其 中 7 表示 7* EE, 坐标 轴 上 二 进 制 像素 的 值 (或 者 其 中 1<i<L,DM+1,，1<j<LD 


N+1。 假 设 乱 和 了 为 特征 模板 的 灰 度 中 心 在 x 坐标 和 7 坐标 上 的 值 。 符 合 如 下 情况 的 第 一 幅 
图 像 区 域 被 确定 为 特征 模板 : 


0.48<sum(i， 记 <0.52 G-18) 
0.4«X,0.6 (3-19) 
0.4-Y,«0.6 (3-20) 


3.80. 匹配 计算 


在 获取 了 特征 模板 的 基础 上 ， 可 以 对 边缘 图 像 进行 匹配 计算 。 本 设计 中 的 匹配 计算 分 
成 两 个 匹配 过 程 ， 即 粗 匹配 和 精 匹配 。 其 中 ， 对 边缘 图 像 的 匹配 过 程 称 为 粗 匹配 ， 目 的 是 
在 较 短 的 时 间 内 获取 一 些 可 能 的 匹配 位 置 。 粗 匹配 过 程 中 ， 图 像 匹配 中 的 搜索 区 域 被 限定 
在 图 3-7 所 示 的 4 区 域 的 图 像 ， 特 征 模板 将 会 在 4, 中 按 从 上 到 下 、 从 左 到 右 的 顺序 移动 ， 并 
进行 匹配 计算 。 匹 配 计算 中 ， 特 征 模板 将 会 通过 异 或 CXOR) 逻 辑 运算 对 搜索 区 域 中 的 每 一 
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个 边缘 图 像 区 域 进行 检测 ， 这 些 图 像 区 域 与 特征 模板 的 尺寸 大 小 相同 。 
sumy ,- È (T QTB“”) 8-21) 
Xr, DARORTBMIEBURE] ERRER, TR" "表示 中 心 在 二 进 制 搜索 图 像 中 (x，v) 位 置 
的 二 值 化 图 像 ，@ 表 示 对 甜 阵 进行 异 或 运算 ，> 表 示 异 或 运算 后 所 得 结果 矩阵 的 所 有 像素 
值 的 总 和 。 
异 或 运算 大 大 提高 了 图 像 匹 配 中 计算 的 速度 。 在 所 有 经 过 异 或 运算 后 所 得 的 结果 中 ， 
按 公式 (3-22) 取 前 三 个 最 小 值 ， 作 为 粗 匹配 后 得 到 的 可 能 位 置 Co，vo)。 
Co，w)=min[sumey] G-22) 
模板 相关 匹配 又 称 基于 区 域 的 拼接 方法 ， 一 般 是 直接 或 先 对 图 像 进行 一 定 变 换 之 后 ， 
利用 图 像 中 的 像素 建立 模板 并 进行 拼接 ， 而 其 中 模板 的 选取 一 般 都 不 会 很 复杂 。 比 较 简单 
的 方法 是 利用 整 幅 图 像 的 像素 灰 度 为 模板 ， 但 这 种 模板 的 选取 往往 为 模板 的 匹配 带 来 很 大 
的 计算 量 。 如 果 为 了 减少 匹配 的 计算 量 ， 只 选用 图 像 中 一 列 图 像 作 为 模板 进行 匹配 ， 那 么 
拼接 的 精度 往往 不 高 ， 因 此 一 般 都 会 选取 图 像 中 某 个 部 分 区 域 中 的 像素 作为 模板 。 另 外 ， 
基于 傅立叶 变换 的 相位 相关 法 也 是 一 种 典型 的 算法 ， 这 种 方法 首先 对 图 像 进行 傅立叶 变 
换 ， 通 过 频 域内 的 相位 差 峰 值 找 到 图 像 的 重 登 位 置 ， 从 而 进行 图 像 拼接 。 哺 灰 度 图 像 的 空 
域 模板 匹配 算法 又 可 分 为 基于 图 像 的 几何 特征 和 基于 像素 灰 度 值 两 大 类 。 前 者 适用 于 以 单 
一 明确 的 目标 检测 为 目的 的 情况 ， 而 且 目 标的 几何 特征 提取 (如 跟踪 描绘 目标 的 边缘 轮廓 
或 提取 角 点 等 ) 是 一 个 难以 解决 的 问题 ， 并 将 耗费 大 量 的 计算 时 间 ， 不 能 满足 实时 系统 的 
要 求 。 本 书 使 用 的 算法 属于 后 者 ， 即 基于 像素 灰 度 值 的 匹配 。 
对 搜索 窗口 和 模板 直接 求 归 一 化 的 相关 值 QNormalized Correlation，NC)， 是 一 种 很 有 
效 的 匹配 算法 。 设 待 匹配 的 图 像 区 域 为 F， 特 征 模 板 为 9， 则 
Ze DED, 2 
JEFE, »- EG YIGG. y)- ECF 
式 中 ，EG) 表 示 对 模板 和 原 图 的 搜索 窗口 求 数学 期 望 ， 即 灰 度 值 的 平均 值 。NC 算 法 具有 
很 高 的 准确 性 、 适 应 性 ， 对 图 像 灰 度 值 的 线性 变换 具有 “免疫 性 ”， 即 所 求 的 NC 值 不 受 
灰 度 值 的 线性 变换 的 影响 。"" 以 一 个 像素 点 为 例 ， 其 过 程 如 下 : 
在 原 图 中 取 一 个 像素 点 记 为 Po， 在 搜索 区 域 中 选取 三 个 二 值 化 图 像 匹 配 所 得 到 的 可 能 
匹配 位 置 ， 设 为 p,、p,、p3。 分 别 以 这 三 个 像素 点 为 中 心 ， 选 取 三 个 5x5 区 域 ， 然 后 分 别 
在 这 三 个 区 域 中 ， 利 用 公式 (3-23) 计 算 相关 值 ， 并 取出 每 个 区 域 中 的 最 大 相关 值 分 别 记 为 


(3-23) 
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MI、Mp、Ms。 比 较 M、M,、MM 的 大 小 ， 取 最 大 点 记 为 Mae， 则 范本 中 Mx 点 位 为 原 图 中 


Po 点 的 最 佳 


匹配 位 置 。 





原始 图 
图 3-11 所 示 





像 、 边 缘 图 像 、 图 像 的 重 琶 


o 


区 域 、 拼 接 后 图 像 ， 分 别 如 图 3-8、 图 3-9、 图 3-10、 








图 3-8 


原始 图 像 (250x250) 





图 3-9 边缘 图 像 





图 3-10 ”图 像 的 重叠 区 域 
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5i 


图 3-11 拼接 后 图 像 


34 图 像 融 合 


图 像 融合 的 目的 在 于 修改 拼接 图 像 中 过 渡 区 的 图 像 内容 ， 使 得 两 个 相 邻 图 像 能 够 平 
顺 地 接合 在 一 起 ， 并 减少 缝合 线 附 近 图 像 的 明显 程度 。 图 像 匹配 只 依据 图 像 内 容 找 出 合适 
的 颖 合 位置 ， 并 不 改变 图 像 的 内 容 信息 ;而 图 像 融合 ， 则 依据 两 个 图 像 本 身 的 内 容 信息 ， 
通过 图 像 融 合 的 操作 而 产生 新 的 图 像 内 容 ， 此 图 像 内 容 将 具有 两 个 相 邻 图 像 在 过 渡 区 重 受 
部 分 的 图 像 特 征 ， 却 又 能 让 两 个 相 邻 图 像 看 起 来 自然 地 接合 成 一 张 拼接 图 像 。 在 图 像 混 合 
操作 时 ， 要 在 相 邻 图 像 的 缝合 线 附 近 提 高 图 像 转变 的 平滑 程度 ， 并 且 还 要 让 过 渡 区 同时 保 
留 两 个 图 像 在 重 倒 部 分 的 图 像 特征 。 我 们 分 别 依照 这 两 种 原则 ， 找 出 最 合适 的 图 像 融 合 方 
式 ， 使 得 拼接 图 像 具有 更 好 的 呈现 效果 。 

为 此 ， 一 方面 以 二 阶 B 曲 线 (2nd-order B-spline) 近 似 为 原本 过 渡 区 中 的 灰 度 变化 曲线 ， 
使 其 在 微观 灰 度 值 的 变化 细节 上 产生 平顺 的 变化 ， 另 一 方面 ， 要 同时 控制 图 像 的 失真 与 平 
滑 程度 ， 因 此 利用 Snake 的 能 量 观念 ， 将 曲线 本 身 的 平滑 、 过 渡 区 的 失真 度 和 过 渡 区 的 平 
滑 转 变 ， 以 能 量 的 变化 为 参考 ， 当 此 参考 的 总 能 量 越 低 ， 越 接近 过 渡 区 中 我 们 理想 的 灰 度 
值 变 化 状态 。 故 将 此 能 量 以 Radientdecent 的 方法 ， 经 过 每 一 次 递减 ， 曲 线 状态 逐渐 朝 总 能 
量 降低 的 方向 移动 ， 最 后 将 达到 理想 的 最 低 状态 。 

颜色 变化 的 过 程 要 平滑 ， 也 就 是 灰 度 值 的 变化 程度 要 趋 于 平缓 ， 如 果 灰 度 值 变化 的 速 


度 太 快 ， 将 使 颜色 的 变化 中 有 比较 明显 的 灰 度 值 边缘 感 


[E 如 图 3-12 所 示 。 


(a) =- 


f. 


(c) 图 (9) 中 的 灰 度 值 变化 


图 3-12 中 (3) 与 (b) 都 是 在 
线 以 内 插 的 方式 将 灰 度 值 由 
的 一 次 线性 所 计算 出 来 的 灰 度 值 变 化 ， 比 较 图 (a) 和 图 (c)， 
项 ， 在 纯 黑 色 与 白色 附近 仍 有 平缓 的 转换 ， 比 较 图 (b) 的 灰 度 








的 二 次 

















算出 来 的 灰 度 值 变化 比较 平 


图 3-12 j5i 








值 变化 ， 在 纯 黑 与 白色 的 附近 变化 较为 剧烈 ， 


值 边缘 感觉 。 
用 二 阶 B 
数 ， 以 控制 


























因此 ， 对 过 渡 








区 中 的 图 像 颜 色 变 换 希 望 能 以 
线 本 身 所 具有 的 特性 ， 使 相 邻 图 像 
点 的 相关 坐标 内 插 计 算出 在 控制 点 
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感觉 
N JL y 


导致 颜 





(b) 颜色 转换 较 剧烈 


(d) 图 (b) 中 的 灰 度 值 变 化 


色 转 换 与 灰 度 值 变化 
同 宽度 的 范围 内 由 黑 到 白 的 灰 度 值 变化 ， 其 中 图 
0 到 255 所 计算 出 来 的 灰 度 值 变化 。 而 图 





色 的 转换 过 程 不 平 








(a) 是 以 


(b) 是 以 图 (d) 























可 以 发 现 由 





次 曲线 内 插 法 计 











使 得 在 黑色 与 白色 





区 域 


附近 有 较 


明显 的 灰 度 


























的 变化 更 加 自然 。 








1 线 的 平滑 方式 来 改变 ， 应 该 


dh 


KYB H 








线 是 利用 基底 函 






































范围 内 的 曲线 。 二 阶 B 


1 线 的 特 1 


生 在 于 能 够 





以 少数 的 控制 点 为 基准 ， 通 过 基底 计算 出 平滑 











以 产生 一 段 由 许多 














线段 所 组 成 的 多 次 











线 ， 











性 。 常 用 的 二 阶 B 





1 线 是 以 














次 曲线 来 近似 为 与 





5j 
并 可 


名 | 























像 中 的 某 一 边缘 ， 














其 中 每 4 个 控 币 
滑 曲 线 ， 希 望 能 精细 控 














点 将 产生 


il 








个 曲线 段 ， 相 邻 的 




















过 渡 区 中 灰 度 值 变化 








随 着 内 容 的 不 同 而 有 不 
































利用 二 阶 B 曲 线 ， 能 对 
转换 的 便利 性 ， 能 够 更 








i 





理想 的 效果 ， 
线 对 于 线段 








Hizm, "n 


我 们 将 利 


图 


司 复杂 度 的 变化 ， 
线段 进行 精细 的 控制 ， 
精 
用 


因此 





确 地 近似 为 过 渡 区 中 
阶 B 曲 线 找到 最 近 
3-13 所 示 。 









































的 连续 曲线 ， 此 出 














线段 ， 而 且 经 过 一 连 串 的 控制 点 ， 将 可 
以 确保 曲线 段 间 仍 具 有 了 
以 一 
线段 将 共享 三 个 控制 点 ， 
线 之 间 的 变化 与 


滑 变 化 与 连续 
连 串 的 控制 点 ， 
由 此 可 以 产生 平 
度 都 将 




















一 般 三 次 曲线 不 容易 控制 
且 具 有 
的 灰 度 值 曲线 ， 使 融合 后 
似 了 





























1 线段 中 的 特殊 位 置 与 控 仙 

















1 线 复杂 的 弯曲 。 
| 点 相互 


























FF 过渡 区 中 的 灰 度 值 变化 


的 图 像 能 够 调整 到 
线 。 二 阶 B 
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图 3-13 ”二 阶 B 曲 线 
二 阶 B 曲 线 ， 由 n+2 个 控制 点 ，{c=[w， 切 ， 折 0，1，*…n+1}， 产 生 n 个 连接 的 曲线 
Bt. (gous) v(s))T. .二 0，1，…*n}。 其 中 每 一 个 曲线 段 由 线性 对 应 的 内 插 参 数 s 所 
得 ， 其 值 由 0 到 1。 二 阶 B 曲 线 的 公式 为 


05 -1 05]c， 
q(s-[? s N|- 1 olds (3-24) 
05 05 0 |j, 











其 中 gs) 代 表 第 / 段 曲线 ， 曲 线段 是 由 cn c. c, SMILIES. HUE, H 
系列 的 控制 点 所 产生 的 连续 曲线 段 将 可 以 代表 该 过 渡 区 中 此 列 灰 度 值 的 变化 的 近似 平滑 曲 
线 ， 如 公式 G3-25) 所 示 ，O(9) 表 示 过 渡 区 中 以 n 段 曲线 所 组 成 的 一 列 灰 度 值 变化 曲线 。 

0) - XXX) 6-25) 


j=l s=0 


当 s 为 0 时 ， 表 示 此 段 曲线 j 的 起 点 n, 。 代 入 公式 (3-24) 计 算 后 ， 曲 线段 的 起 点 即 为 前 
两 个 控制 点 cm 和 c 的 中 点 ， 如 公式 (3-26) 所 示 。 


nj, 74,0) = (ete) (3226) 
当 s 为 1 时 ， 表 示 此 段 曲 线 j 的 终点 n; ,， 代 入 公式 (3-24) 计 算 后 ， 曲 线段 的 终点 即 为 后 
两 个 控制 点 c 和 cu 的 中 点 ， 如 公式 (3-27) 所 示 。 


1 
n, 74,0) 7c, te) 6-27) 
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当 s 为 0.5 时 ， 表 示 此 段 曲线 7 中 曲率 最 大 的 地 方 m;， 将 其 代入 公式 (3-24) 后 ， 曲 线段 
中 曲率 最 大 的 坐标 位 置 为 公式 (3-28)。 





1 3 1 
m, -4,(0.5) Eaa i E (3-28) 


通过 式 (3-26)、 式 (3-27) 和 式 (3-28)， 可 以 快速 找 出 曲线 段 中 的 特殊 位 置 ， 而 通过 曲线 
段 中 这 三 个 特征 点 可 以 用 公式 (3-29) 逆 向 找 出 对 应 此 曲线 段 的 三 个 控制 点 的 位 置 。 














5 1 
2 
; 1| "| | 
2 3 3 和 二 | (3-29) 
1 5 MPa] Loa 
2 2 


将 过 渡 区 的 灰 度 值 变化 曲线 以 二 阶 B 曲 线 来 代替 ， 首 先 要 分 析出 过 渡 区 中 相 邻 图 像 每 
列 的 像素 值 的 变化 ， 以 对 应 过 渡 区 横向 像素 索引 为 X 坐 标 ， 对 应 索引 像素 的 灰 度 值 为 7 坐 
标 。 由 此 可 以 描绘 出 此 列 中 的 灰 度 值 变化 ， 如 图 3-14 所 示 。 
500 





400 


300 


200 


100 


0 100 200 300 40 
(a) 过 渡 区 图 像 








(b) 分 析 结果 (c) 灰 度 值 变化 曲线 放大 
图 3-14 过渡 区 灰 度 值 变化 图 
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图 3-14 中 (a) 为 过 渡 区 中 的 图 像 ， 针 对 横 线 部 分 ， 即 过 渡 区 中 第 116 列 的 灰 度 值 做 分 
析 ， 其 结果 为 图 (b)X 方 向 对 应 过 渡 区 图 像 的 X 坐 标 ， 而 7 坐标 则 为 灰 度 值 坐标 ， 由 0 到 255。 
为 了 方便 观察 灰 度 值 的 变化 ， 我 们 将 图 (b) 的 X 坐 标 放大 5 倍 后 变 为 图 (c)。 要 将 二 阶 B 曲 线 近 
似 为 灰 度 值 曲线 ， 由 曲线 的 特性 可 知 ， 只 要 是 一 系列 控制 点 ， 便 可 以 产生 连续 且 平 滑 的 曲 
线 ， 此 外 由 于 二 阶 B 曲 线 的 特性 ， 曲 线段 的 端点 会 落 在 相 邻 控制 点 的 中 点 上 ， 所 以 每 个 控 
制 点 可 将 其 所 计算 出 来 的 线段 控制 在 两 个 控制 点 的 边界 上 。 因 此 ， 我 们 只 需要 在 过 渡 区 的 
灰 度 值 曲线 中 找到 适当 的 位 置 作为 控制 点 ， 则 二 阶 B 曲 线 将 能 表现 连续 、 平 滑 且 精准 的 曲 
线 。 适 当 的 控制 点 所 在 的 位 置 ， 一 是 位 于 灰 度 值 变化 的 尖端 上 ;， 二 是 位 于 灰 度 值 具有 大 幅 
度 变化 的 转角 中 。 针 对 第 一 种 状况 ， 我 们 寻找 灰 度 值 变化 的 尖 点 。 当 尖 点 为 高 峰 时 ， 表 示 
与 邻近 前 后 的 像素 值 的 差距 皆 为 正 ， 当 尖 点 为 山谷 时 ， 表 示 与 邻近 前 后 像素 值 的 差距 皆 为 
负 。 依 此 规则 ， 我 们 可 以 找 出 当 目 前 所 分 析 的 灰 度 值 坐标 Kx ，2y7) 与 前 后 相 邻 像素 的 灰 度 值 
的 乘积 为 正 时 ， 表 示 此 点 为 灰 度 值 的 尖 点 。 针 对 第 二 种 状况 ， 当 相 邻 前 后 像素 的 灰 度 值 差 
距 达到 a 时 ， 则 此 点 也 应 该 被 取样 为 控制 点 。 因 此 ， 在 过 渡 区 的 灰 度 值 曲线 中 选取 控制 点 
es. 功 的 位 置 为 以 下 三 种 情况 
[ej(x, y) - 16-7, ylle Go. y) T(x+1, y)]> 0 
le ») 716-1, y|>a 8-30) 
|ec， y)-I(x+1, y|»a 
灰 度 值 变化 曲线 的 控制 点 ， 如 图 3-15 所 示 。 

















图 3-15 ” 灰 度 值 变 化 曲线 的 控制 点 


按 图 3-14(b) 的 灰 度 值 变 化 曲线 寻找 适当 的 控制 点 ， 其 中 当 a 为 5 时 ， 找 到 的 控制 点 如 图 
3-15 所 示 ， 其 中 所 有 属于 灰 度 值 尖端 的 部 分 都 被 选取 为 控制 点 ， 当 以 此 控制 点 为 中 心 所 产 
































化 曲线 。 而 相 邻 灰 度 值 
作为 控制 点 ， 而 此 控制 点 所 
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图 3-15 所 找到 的 控制 点 分 布 ， 利 用 
































度 值 曲线 段 也 能 得 到 平顺 的 过 渡 ， 而 避免 在 过 渡 区 中 发 生 较 为 剧烈 的 灰 度 值 变 化 。 
二 阶 B 曲 线 的 公式 (3-30) 所 产生 的 灰 度 值 曲线 ， 如 图 
3-16(b) 将 X 坐 标 放大 5 倍 ， 可 以 明显 看 出 ， 灰 度 值 曲线 比 图 3-14(c) 的 曲线 平滑 ， 但 仍 保留 
原 灰 度 值 变 化 的 特征 ， 即 将 会 产生 较 平 滑 的 图 像 过 渡 。 而 图 3-16(a) 的 实际 灰 度 值 曲线 与 图 
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生 的 对 应 的 二 阶 B 曲 线 将 会 使 得 此 尖端 部 分 ， 包 括 高 峰 与 山谷 ， 都 以 内 插 方 式 而 找到 平滑 
差距 超过 z， 即 灰 度 值 相差 超过 5 以 上 的 像素 位 置 ， 也 会 被 选取 
对 应 的 二 阶 B 曲 线 会 找到 








F 滑 的 内 插 灰 度 值 变 化 ， 使 得 差距 较 



















































































3-14(b) 相 比较 ， 可 以 发 现 一 些 不 平顺 的 灰 度 值 曲线 已 经 被 二 阶 B 曲 线 的 平滑 特性 所 消除 ， 
但 是 仍 保留 了 灰 度 值 曲线 的 连续 变化 。 


























(a) 分 析 结 果 























成 过 渡 区 中 的 图 像 上 下 列 因 








(b) 灰 度 值 变化 曲线 放大 
图 3-16 过渡 区 灰 度 值 变 化 以 二 阶 B 曲 线 代 表 ，a=5 
图 3-17 中 将 灰 度 值 差 距 a 调 高 为 10， 也 就 是 当 相 邻 像素 的 灰 度 值 差距 达到 10， 才 会 被 
选取 作为 控制 点 。 由 图 3-17(b) 与 图 3-14(b) 相 比较 ， 发 现 许多 灰 度 值 曲线 的 特征 都 因为 a 较 
大 ， 而 被 二 阶 B 曲 线 的 平滑 特性 所 消除 ， 失 去 了 灰 度 值 曲线 的 显著 的 变化 特征 ， 也 容易 造 
为 二 阶 B 曲 线 的 平滑 程度 不 一 致 而 产生 横向 的 杂 纹 。 因 此 ， 灰 











度 值 差距 将 依靠 经 验 法 则 ， 


保留 所 需要 的 灰 度 值 变化 特征 ， 又 使 得 灰 度 值 的 变化 具有 平滑 的 效果 。 将 灰 度 值 变 化 
线 以 二 阶 B 曲 线 代替 ， 我 们 将 可 以 利用 曲线 段 中 的 特殊 位 置 ， 当 s=0.5 时 曲率 最 大 的 mj 来 调 
线段 qj(s)， 仍 然 会 因为 二 阶 B 曲 线 的 特性 而 保持 平 
































整 图 像 中 的 尖 点 像素 值 位 置 ， 而 整个 

















滑 ， 并 且 还 可 以 由 新 的 位 置 
置 又 会 自动 取得 与 邻近 曲线 





































































































根据 过 渡 区 中 的 内 容 图 像 ， 选 择 合适 的 灰 度 值 差 距 ， 使 其 可 以 








































































































mj， 反 推 计算 出 新 的 相对 应 的 三 个 控制 点 位 置 ， 新 的 控制 点 位 





段 的 连续 与 平滑 。 





值 变化 程度 ， 又 可 以 确保 其 





图 像 的 平滑 程度 。 








因 

















此 ， 我 们 可 以 精确 地 控制 过 渡 区 中 的 灰 度 
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(a) 分 析 结 果 (b) 灰 度 值 变化 曲线 放大 
图 3-17 ”过渡 区 灰 度 值 变 化 以 二 阶 B 曲 线 代 表 ，a=10 

















3.4.1 失真 程度 


找到 一 个 衡量 两 个 相 邻 图 像 在 过 渡 区 中 的 失真 度 的 方法 。 经 由 上 一 节 的 叙述 ， 将 过 渡 
区 中 的 图 像 灰 度 值 的 变动 以 二 阶 B 曲 线 来 表示 ， 每 一 曲线 段 q(s) 都 代表 了 灰 度 值 的 变化 ， 
因此 可 以 衡量 目前 过 渡 区 的 图 像 分 别 与 两 个 图 像 间 在 重合 位 置 上 的 差别 。 衡 量 过 渡 区 中 合 
成 的 图 像 与 左 方 、 与 右 方 的 原始 图 像 的 差别 程度 ， 同 时 考虑 到 图 像 要 能 平顺 地 转变 ， 使 得 
左 方 的 图 像 在 过 渡 区 中 越 接近 左 方 ， 需 要 保留 的 信息 越 高 ， 即 失真 度 越 低 ， 且 在 过 渡 区 的 
最 右边 则 可 容忍 的 失真 程度 最 高 。 对 于 右边 的 图 像 越 靠 近 过 渡 区 右 方 则 失真 度 越 低 ， 越 
靠近 左边 则 可 容忍 的 失真 度 越 高 。 将 过 渡 区 中 灰 度 的 变化 以 二 阶 B 曲 线 近 似 ， 分 别 与 左 方 
LL(s)、 与 右 方 R(s) 图 像 在 重合 的 位 置 坐标 上 ， 以 此 Blending Function 来 衡量 个 别 的 失真 程 
度 ， 如 公式 (3-31) 所 示 。 


































































































Ey (5) 7 DW, ()*4,G) ^w; (S) * Lj GT 

Ens, ; (8) 7 [Ww G)*4,) ^w; G) * R, (6)? 
其 中 wi(s) 与 wi(s) 为 对 应 目前 /线段 所 在 s 的 Blending Function 比 重 分 配 。Eip。j(s) 表 示 在 此 7 线 
段 灰 度 值 ，gj(s) 与 左 方 原始 图 像 L(s) 的 差距 。 由 Blending Function 可 以 看 出 ， 在 越 靠近 过 渡 
区 左 方 的 图 像 所 要 求 的 失真 程度 越 低 ， 而 Bion,,(s) 所 计算 出 来 的 能 量 越 低 ， 表 示 过 渡 区 中 
罗 图 像 与 左 方 原始 图 像 的 差距 越 小 。 同 样 ， 对 于 衡量 过 渡 区 图 像 与 右 方 原始 图 像 的 能 量 
Eyes, js) 越 低 ， 越 符合 我 们 对 于 失真 程度 的 要 求 。 因 此 ， 对 镶嵌 图 像 在 过 渡 区 中 的 失真 度 
的 总 能 量 公 式 为 


(3-31) 
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Ege, KS) Eten, KS) Eig, (5) (3-32) 

过 渡 区 中 失真 度 以 能 量 的 方式 来 衡量 ， 一 方面 可 以 评 量 失 真 度 ， 另 一 方面 通过 Blending 

Function 的 控制 ， 使 得 两 个 相 邻 图 像 在 过 渡 区 中 具有 Blending Function 的 效果 ， 使 得 图 像 在 
过 渡 区 中 能 逐渐 依照 Blending Function 平 滑 地 变动 而 平顺 地 转变 。 


3.4.2 ”能 量 总 和 


为 了 能 够 使 镶嵌 图 像 过 渡 区 中 的 灰 度 值 的 曲线 接近 我 们 理想 中 能 够 呈现 图 像 的 平滑 转 
换 和 降低 两 个 图 像 各 自 的 失真 度 ， 我 们 采用 图 像 分 割 中 Active Contour Model 的 方式 ， 以 能 
量 观念 来 调整 灰 度 值 曲线 的 位 置 ， 最 后 在 达到 最 小 能 量 时 ， 使 得 灰 度 值 曲线 达到 最 理想 的 
变化 。 其 中 以 SnakeE45? 为 最 典型 的 方法 。Snake 最 早 应 用 于 图 像 分 隔 ， 要 在 图 像 中 找到 最 
接近 图 像 内 容 的 轮廓 ， 应 先 给 定 封闭 曲线 的 初始 位 置 ， 接 着 将 此 曲线 以 内 部 能 量 (nternal 
Energy) 和 外 部 能 量 (External Energy) 来 决定 Snake 曲 线 的 移动 方向 与 位 置 。Snake 将 曲线 订 
定 为 v(s)=[x(s)，y(s)] 且 s 为 订 定 此 曲线 的 参数 ， 其 值 由 0 到 1。 该 曲线 的 总 能 量 公式 为 


1 
Ea | Ei[v(s)+ Eoav(s)]ds (3-33) 
0 


内 部 能 量 来 自封 闭 曲线 本 身 的 平滑 程度 与 连续 的 特性 ， 其 能 量 计算 公式 为 
E, =W GF + Bb | Y2 G-34) 
公式 (3-34) 中 w(s) 为 此 曲线 的 一 次 微分 ， 用 来 表示 此 曲线 的 连续 程度 ， 而 ws) 为 此 曲线 的 
二 次 微分 ， 用 来 表示 此 曲线 的 弯曲 程度 。 因 此 ， 内 部 能 量 表示 此 曲线 本 身 轮廓 的 样子 。 当 
该 能 量 越 低 ， 则 曲线 将 表现 得 连续 且 平顺 少 弯曲 。 
外 部 能 量 则 是 根据 外 在 图 像 信息 ， 而 影响 曲线 段 变化 的 能 量 。 一 般 常 用 的 外 部 能 量 公 
式 为 
E, --|Vie »[ (3-35) 
其 中 Ce， 功 是 指 图 像 灰 度 梯度 值 ， 即 图 像 的 灰 度 值 变化 的 程度 。 
一 般 外 部 能 量 用 于 判断 图 像 中 的 边缘 位 置 。 图 像 在 边缘 位 置 的 灰 度 梯度 值 将 呈现 较 
大 的 变化 ， 越 明显 的 边缘 则 灰 度 梯度 值 越 大 。 外 部 能 量 越 小 ， 则 表示 目前 曲线 所 在 的 位 置 
处 于 越 明显 的 图 像 边缘 位 置 。Snake 是 利用 这 两 种 能 量 ， 使 得 曲线 维持 平滑 与 连续 的 状态 
下 ， 能 向 图 像 中 的 边缘 靠近 。Snake 在 能 量 最 小 化 的 过 程 中 ， 达 到 能 量 稳定 且 最 小 的 状态 
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时 ， 表 示 此 曲线 已 经 将 图 像 中 的 内 容 以 曲线 圈 先 出来。 在 此 最 小 化 的 过 程 中 ， 曲 线 不 断 地 
移动 ， 向 理想 的 轮廓 趋 近 ， 其 过 程 如 同 蛇 一 样 渐渐 扭 动 逼近 最 佳 的 图 像 区 域 ， 因 此 命名 为 
Snake。 我 们 一 方面 希望 过 渡 区 中 的 灰 度 值 变 化 以 曲线 的 样子 来 分 析 时 ， 曲 线 本 身 可 以 越 
接近 平滑 使 得 合成 的 图 像 更 自然 ， 也 使 得 相 邻 图 像 间 的 过 渡 较 为 平顺 ， 另 一 方面 希望 依照 
失真 程度 能 够 按 Blending Function 的 比重 分 配 来 控制 此 曲线 ， 使 曲线 能 处 于 满足 Blending 
Function 的 比例 分 配 ， 又 能 够 处 在 相对 于 两 个 图 像 失真 度 最 小 的 位 置 。 因 此 ， 我 们 依照 
Snake 的 能 量 公式 来 计算 过 渡 区 中 的 灰 度 值 曲线 而 通过 能 量 的 递减 ， 逐 渐 接 近 理 想 的 图 
像 呈 现 效果 。 

图 像 的 平滑 程度 ， 一 方面 来 自控 制 失真 程度 的 Blending Function， 另 一 方面 来 自 二 阶 B 
曲线 本 身 的 平滑 程度 。 曲 线 越 平滑 ， 此 曲线 所 呈现 的 灰 度 值 转换 越 平 顺 ， 曲线 的 变化 越 激 
烈 ， 则 此 灰 度 值 的 变动 程度 会 随 之 呈现 剧烈 的 变化 ， 而 使 图 像 呈 现 较 锐利 的 效果 。Snake 
中 的 内 部 能 量 ， 主 要 是 控制 曲线 的 连续 性 与 弯曲 程度 ， 因 此 以 二 阶 B 曲 线 的 连续 及 平滑 的 
特性 来 取代 其 内 部 能 量 ， 而 形成 所 谓 的 B-Snakeat9， 因 而 能 量 最 小 化 时 ， 可 以 只 考虑 其 
外 部 能 量 的 图 像 ， 内 部 能 量 则 由 二 阶 B 曲 线 的 特性 来 维持 曲线 的 平滑 。 然 而 ， 我 们 所 要 考 
虑 的 不 仅 是 曲线 的 连续 性 ， 还 有 曲线 本 身 的 平滑 程度 ， 也 就 是 相 邻 灰 度 值 的 变化 程度 。 因 
此 ， 我 们 对 于 曲线 本 身 在 图 像 合理 的 转换 及 减 小 失真 度 的 条 件 下 ， 越 平滑 越 好 。 而 曲线 的 
平滑 程度 可 用 曲线 一 阶 微分 ， 即 曲线 的 斜率 来 判断 。 斜 率 越 小 ， 表 示 曲 线 的 变化 越 平缓 。 
我 们 以 累积 二 阶 B 曲 线 中 的 斜率 为 Snake 的 内 部 能 量 ， 如 公式 (3-36) 所 示 。 


8-36) 





= / (s) 
在 公式 (3-36) 中 ， 由 于 每 段 曲 线 gq'(s) 中 的 变量 由 参数 S 所 控制 ， 因 此 要 测量 曲线 gq’(s) 的 
平滑 程度 ， 就 必须 对 8 做 微分 ， 由 此 我 们 可 以 得 到 公式 (3-37)。 





gj (5)= 20* OR -+t 6) 584050) 8-37) 

而 对 于 Snake 的 外 部 能 量 ， 我 们 选取 图 像 的 失真 度 来 衡量 。 失 真 度 是 由 二 阶 B 曲 线 所 代 
表 的 灰 度 值 曲线 与 原始 的 两 个 图 像 间 的 灰 度 值 差异 所 组 成 的 。 因 此 ， 我 们 以 公式 (3-34) 衡 
量 图 像 的 失真 程度 ， 累 积 曲线 段 中 对 两 个 相 邻 图 像 在 过 渡 区 中 的 失真 程度 ， 为 所 要 依据 的 
外 部 能 量 ， 如 公式 (3-38) 所 示 。 


E.G) 7 TW)*g() -w,G)* LG) *D G)*ajG) WG)*LGY G3-38) 
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衡量 过 渡 区 中 图 像 混合 的 能 量 公式 为 

Es = DD 4+ Eua GI Eua 9] Q-39) 
其 中 /表示 内 部 能 量 与 外 部 能 量 的 参数 比重 ， 因 为 内 部 能 量 过 大 或 过 小 都 将 影响 图 像 的 失 
真 程度 与 转换 的 平滑 度 ， 所 以 1 能 够 决定 两 种 能 量 所 占 的 比重 。 能 量 越 小 ， 表 示 由 一 阶 B 曲 
线 所 形成 的 灰 度 值 变化 将 会 越 平缓 ， 且 过 渡 区 中 的 图 像 与 两 个 相 邻 图 像 的 失真 度 最 小 。 


3.4.3 能量 最 小 化 


首先 以 二 阶 B 曲 线 近似 于 过 渡 区 相 邻 图 像 重 亚 位 置 的 灰 度 值 之 平均 所 形成 的 灰 度 值 曲 
线 ( 见 图 3-18) 为 初始 位 置 而 计算 能 量 递减 。 








图 3-18 二 阶 B 曲 线 初始 位 置 
在 上 节 中 找到 的 能 量 总 和 越 小 ， 表 示 越 接近 理想 中 的 灰 度 值 混合 效果 ， 因 此 我 们 利用 
逐渐 递减 (Gradient Decenb) 的 数值 方法 来 找到 公式 (3-39) 的 能 量 最 小 化 ， 也 就 是 找到 此 能 量 
函 式 的 递减 方向 ， 将 二 阶 B 曲 线 每 次 都 趋向 能 量 递减 的 方向 ， 最 后 到 达 会 使 能 量 最 小 的 曲 
线 位 置 ， 即 能 量 将 稳定 最 小 化 ， 如 公式 (3-40) 所 示 。 

















GE 
qj;(s) = sO- 5) (3-40) 
可 以 分 别 对 外 部 能 量 与 内 部 能 量 做 偏 微分 ， 如 公式 (3-41) 所 示 。 


Enae OE, DB 
Oqs) Oq(s) oq,(s) pn) 
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找到 每 次 二 阶 B 曲 线 所 应 该 递减 的 量 值 ， 直 到 下 次 产生 新 的 gj(s)' 与 当前 的 gj(s) 相 同 或 
到 设 定 的 最 小 差距 时 ， 即 找到 理想 的 灰 度 值 混合 状态 。 为 了 便于 表示 ， 将 公式 (3-24) 的 线 
段 公式 展开 为 


I 1 5 1 
q;(s)= G oa 8 Fata *(e; —6,4) 55 *yGa +c;) (3-42) 


1 1 1 
其 中 ， 4j EE E B, = (6j cj); C; = ui 


要 将 公式 (3-42) 对 gj(s) 做 偏 微分 ,我们 可 以 将 内 部 能 量 与 外 部 能 量 分 别 对 gj(s) 做 偏 微 
分 ， 之 后 再 将 其 结果 结合 起 来 。 将 内 部 能 量 对 gj(s) 做 偏 微分 ， 得 到 公式 (3-43)。 
A 
0g (s) ^" 





(3-43) 


其 中 1=24。 
公式 (3-43) 表 示 二 阶 B 曲 线 要 趋 于 平滑 每 次 递减 会 依照 当前 的 三 个 控制 点 坐标 而 取得 
适当 的 量 值 ， 直 到 曲线 达到 水 平 线 ， 则 不 再 变动 。 外 部 能 量 中 ， 由 前 半 段 衡量 左 半 图 像 的 
能 量 对 qj(s) 做 偏 微 分 得 到 公式 
dlw (5) *a;s) -w (S) * LG) 
Og, (s) (3-44) 
= 2D G)T [a,G) - L,G)] 
对 于 外 部 能 量 中 的 后 半 段 衡量 右 半 图 像 的 能 量 对 %(s) 做 偏 微分 得 到 公式 
lw, (5)*a;G) —w; S) *R, G)T 
0q,(s) (3-45) 
-2[1-w G)F [a;G) - R,G)] 
由 公式 (3-43)、 公 式 (3-44)、 公 式 (3-45) 整 理 之 后 可 以 得 到 最 后 的 能 量 最 小 化 的 结果 ， 即 
E ic - AA, *2([2(w, (s)Y —2w (s^) - 1]g (s) 
6q (s) $ ý K : (3-46) 
w (sL, G) -[1—w, G))8, (5) 
由 公式 (3-46) 可 以 确定 一 段 二 阶 B 曲 线 在 每 一 次 递 回 时 应 该 减少 的 能 量 值 ， 直 到 两 次 
递 回 的 差别 小 于 误差 值 e 时 ， 即 达到 此 线段 在 过 渡 区 中 可 以 呈现 理想 的 灰 度 值 变化 。 公 式 
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(3-43)、 公 式 (3-44)、 公 式 (3-45) 所 产生 的 三 个 新 的 曲线 段 的 特殊 位 置 ， 即 可 产生 对 应 的 三 
个 新 控制 点 位 置 ， 使 得 连接 的 两 个 曲线 段 中 共享 相 邻 的 两 个 控制 点 也 会 随 之 更 新 。 因 此 每 
递归 一 次 ， 除 了 会 使 当前 线段 的 能 量 带 往 稳 定 的 低 点 ， 也 会 影响 相连 接 的 两 段 曲 线段 。 因 
此 只 要 依 序 对 各 个 线段 做 能 量 最 小 化 的 处 理 ， 则 过 渡 区 中 的 二 阶 B 曲 线 也 会 将 整 条 曲线 带 
往 最 低能 量 之 处 ， 而 不 是 只 有 单一 的 曲线 段 。 

利用 此 特性 ， 以 过 渡 区 为 起 始点 ， 每 段 二 阶 B 曲 线 将 依 序 递 回 ， 直 到 此 列 中 所 有 的 曲 
线 都 达到 能 量 最 小 化 ， 之 后 再 换 下 一 列 ， 直 到 过 渡 区 所 有 的 像素 列 都 完成 二 阶 B 曲 线 的 能 
量 最 小 化 后 ， 则 过 渡 区 的 图 像 混合 完成 。 

以 图 3-12(a) 的 过 渡 图 像 中 的 一 段 二 阶 B 曲 线 为 例 ， 按 4=0.2、 误 差 控 制 s=0.1 所 做 的 能 
量 递减 ， 如 图 3-19 所 示 。 此 线段 处 于 缝合 线 以 左 ， 因 此 二 阶 B 曲 线 会 因为 能 量 递减 而 逐渐 
接近 左边 图 像 的 灰 度 值 变化 。 由 图 3-20 中 ， 可 以 看 出 其 能 量 误差 逐渐 减少 ， 经 过 9 次 递 回 
达到 稳定 的 状态 ， 即 两 次 递 回 的 相差 小 于 s。 


Gradient Descent 
100 
90 
; 80 
4 70 
S 60 

E 
5 30 
20 
10 
0 
q(0) q(0.5) 40) 
Position 
图 3-19 曲线 渐进 





图 3-20 ”递减 误差 
对 于 内 部 能 量 4"， 我 们 以 0 和 0.2 为 参数 代入 。 当 /为 0 时 ， 表 示 内 部 能 量 不 起 作用 ， 即 
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不 会 将 曲线 段 的 平滑 程度 当 作 总 能 量 来 考虑 ， 当 4 为 0.2 时 ， 可 由 图 3-21 看 出 ， 曲 线 将 渐 趋 
平滑 ， 而 依 此 参数 所 得 到 的 镶嵌 图 像 也 呈现 较 平滑 的 效果 。 











图 3-21 内 部 能 量 参数 比较 


利用 二 阶 B 曲 线 的 能 量 最 小 化 来 找到 最 佳 的 图 像 混合 效果 ， 其 中 包含 控制 图 像 的 转换 
平滑 和 减 小 失真 度 。 寻 找 最 佳 图 像 混合 ， 而 使 用 二 阶 B 曲 线 能 量 最 小 化 的 算法 如 下 所 述 。 

(1) 首先 以 二 阶 B 曲 线 近 似 于 过 渡 区 相 邻 图 像 重 肥 位 置 的 灰 度 值 之 平均 所 形成 的 灰 度 值 
曲线 为 初始 位 置 而 计算 能 量 递减 。 

(2) 从 过 渡 区 中 的 第 一 列 开始 ， 由 过 渡 区 的 起 始点 向 终点 ， 对 灰 度 值 曲 线 的 每 一 段 二 
阶 B 曲 线 按 公式 (3-26) 做 能 量 递减 。 

(3) 重复 步骤 (2)， 直 到 过 渡 区 中 的 图 像 的 灰 度 值 皆 以 二 阶 B 曲 线 达 到 能 量 最 小 的 稳定 

(4) 此 时 过 渡 区 中 的 图 像 就 是 完成 的 图 像 混合 。 

原始 图 像 厂 、 原 始 图 像 志 、 拼 接 后 图 像 、 经 过 平滑 后 的 拼接 图 像 ， 分 别 如 图 3-22、 图 
3-23、 图 3-24、 图 3-25 所 示 。 





AR A 


图 3-22 ”原始 图 像 图 3-23 ”原始 图 像 
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图 3-25 ”经 过 平滑 后 的 拼接 图 像 








选取 两 幅 连续 的 、 由 无 人 机 拍摄 的 原 遥 感 图 像 ， 大 小 为 370X370，256 级 灰 度 航拍 图 
像 ， 如 图 3-26、 图 3-27 所 示 。 





























图 3-26 ERI, E 图 3-27 REAL 
相位 校正 + 特征 融合 的 拼接 结果 、 本 书 所 采用 方法 的 拼接 结果 ， 分 别 如 图 3-28、 图 
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3-29 所 示 。 


























图 3-28 ”相位 校正 + 特征 融合 的 拼接 结果 图 3-29 ”本 书 所 采用 方法 的 拼接 结果 
连续 16 幅 序列 图 像 及 其 拼接 结果 ， 分 别 如 图 3-30、 图 3-31 所 示 。 




















图 3-30 ”连续 16 幅 序列 图 像 











各 种 

















图 3-31 连续 16 幅 图 像 的 拼接 结果 (旋转 90 度 后 显示 ) 
接 算法 性 能 的 比较 ， 如 表 3-1 所 示 。 
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表 3-1 各 种 拼接 算法 性 能 比较 








Szeliski 算 法 Imad 算 法 本 书 算法 


特征 Texture Harris Corner Edge 
计算 时 间 /s 5.36 553 


项 目 








3.6 结论 


本 章 提 出 一 种 小 波 变换 与 Canny 算 法 相 结合 的 遥感 图 像 大 边缘 检测 方法 ， 该 方法 是 为 
图 像 配 准 而 设计 的 。 该 方法 将 小 波 变换 多 分 辨 率 分 析 特 性 和 Canny 算 法 检测 边缘 思想 相 结 
合 ， 提 取 伯 感 图 像 中 大 的 边缘 ， 确 定 两 幅 图 像 的 重合 范围 ， 提 取 具 有 丰富 图 像 信 息 的 模 
板 ， 设 计 模板 匹配 搜索 策略 ， 完 成 重 受 图 像 区域 的 粗 匹 配 和 细 匹 配 ， 得 到 两 幅 图 像 相 对 的 
位 置 偏 移 。 根 据 图 像 匹配 的 计算 结果 ， 完 成 前 后 两 幅 图 像 的 对 接 ， 并 对 图 像 拼 接 过 渡 区 域 
的 幅度 值 平 滑 化 。 仿 真实 验 研究 证 明了 算法 的 有 效 性 。 两 幅 图 像 之 间 拼 接 的 时 间 较 快 ， 最 
大 连续 拼接 图 像 数 量 为 36 幅 ， 基 本 可 以 满足 实际 应 用 的 要 求 。 

但 是 这 种 拼接 技术 本 身 也 存在 一 些 问题 。 如 果 仔 细 观 察 图 3-29， 就 会 发 现在 边缘 地 方 
还 是 存在 少量 的 锯齿 ， 这 是 因为 多 分 辩 率 拼接 技术 存在 的 不 足 可 能 造成 局 部 的 瑕 症 ， 这 是 
由 计算 中 的 数据 近似 造成 的 ， 因 此 难以 克服 。 多 分 辨 率 拼接 存在 的 另 一 个 不 足 是 合成 后 的 
图 像 会 变 暗 和 模糊 。 在 图 3-27 中 本 来 很 清楚 的 纹理 ， 到 了 图 3-29 就 会 变 得 模糊 。 产 生 这 种 
现象 的 原因 是 经 过 多 次 高 斯 滤波 处 理 后 信号 因 近 似 而 减弱 ， 图 像 也 因此 变 暗 和 模糊 。 多 分 
辩 率 拼接 技术 没有 考虑 纹理 细节 的 保持 。 另 外 ， 对 于 特殊 条 件 下 拍摄 得 到 的 图 像 不 能 很 好 
地 实现 拼接 处 理 ， 主 要 包括 以 下 两 方面 。 

(1) 对 于 无 人 机 大 角度 倾斜 姿态 条 件 下 拍摄 得 到 的 图 像 不 能 实现 正确 拼接 ， 原 因 是 在 
角度 倾斜 的 飞行 条 件 下 ， 相 邻 两 幅 图 像 之 间 的 重 秋 区域 很 小 ， 且 存在 较 大 的 图 像 畸 变 ， 使 
计算 过 程 中 的 特征 提取 及 匹配 搜索 无 法 顺利 进行 。 

D 对 于 在 大 面积 云层 遮挡 的 情况 下 拍摄 得 到 的 图 像 不 能 实现 正确 拼接 。 云 层 的 遮挡 
使 不 同 视角 的 图 像 存 在 景物 差异 ， 导 致 匹配 计算 不 能 稳定 实现 。 

这 些 问 题 将 在 以 后 的 研究 中 加 以 解决 。 
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与 灰 度 图 像 相 比 ， 彩 色 图 像 由 于 具有 更 为 丰富 的 可 视 化 信息 ， 因 此 得 到 更 为 广泛 的 
应 用 。 彩 色 图 像 中 像素 颜色 通常 由 三 维 颜色 空间 向 量 来 表示 ， 因 此 与 灰 度 图 像 相 比 ， 在 
图 像 的 表达 方式 和 处 理 方法 上 存在 较 大 的 差异 ， 使 得 彩色 图 像 拼接 具有 更 大 的 难度 。 为 了 
更 好 地 实现 彩色 图 像 的 拼接 处 理 ， 本 章 要 分 析 几 种 常用 且 具 有 代表 性 的 颜色 空间 ， 分 别 给 
予 相对 详细 的 介绍 。 由 于 RGB 颜色 空间 是 最 为 常用 的 一 种 颜色 空间 ， 大 多 数 用 于 彩色 图 像 
的 输入 和 输出 。 由 于 RGB 颜色 空间 本 身 的 缺陷 ， 在 彩色 图 像 处 理 中 经 常 把 RGB 颜色 空间 转 
换 到 其 他 颜色 空间 进行 处 理 。 颜 色 空间 转换 是 研究 设备 彩色 特性 和 进行 色彩 管理 工作 的 基 
础 。 本 章 对 RGB 颜色 空间 与 其 他 各 类 颜色 空间 的 转换 方法 进行 详细 的 介绍 。 另 外 ，HSI 颜 色 
空间 是 相对 符合 人 眼 颜 色 视觉 特性 的 颜色 空间 ， 在 彩色 图 像 处 理 中 得 到 广泛 的 应 用 ， 但 在 
颜色 空间 变换 过 程 中 同样 存在 复杂 的 计算 ， 影 响 了 彩色 图 像 处 理 的 实时 性 。 根 据 HSI 与 RGB 
颜色 空间 的 转换 公式 ， 推 导出 两 种 空间 各 颜色 分 量 之 间 的 一 种 数值 对 应 关系 ， 据 此 ， 定 义 
了 色 度 饱和 度 相 似 系数 、 亮 度 相似 系数 。 根 据 人 眼 在 分 辨 颜色 时 的 特性 ， 最 终 定义 颜色 相 
似 系数 ， 确 定 两 种 颜色 相似 的 判别 规则 。 通 过 实验 证 明了 该 方法 符合 人 眼 颜色 相似 判别 规 
律 ， 计 算 简单 ， 易 于 实现 ， 可 用 于 彩色 图 像 匹配 中 的 像素 颜色 相似 性 计算 。 


41 颜色 空间 分 析 


4.1.1 面向 设备 的 颜色 空间 


面向 设备 的 颜色 空间 适合 在 输出 显示 场合 下 使 用 。 计 算 机 彩色 输入 /输出 设备 使 用 与 
设备 相关 的 颜色 空间 ， 如 CRT 显 示 器 和 扫描 仪 使 用 RGB 颜色 空间 ， 打 印 机 使 用 CMYK 颜 色 空 
间 ， 但 各 种 外 部 设备 使 用 的 颜色 空间 并 不 一 致 。 因 此 ， 除 了 分 析 研 究 它们 各 自 所 在 的 颜色 空 
间 外 ， 还 必须 清楚 它们 之 间 的 相互 转换 关系 ， 这 在 计算 机 系统 彩色 管理 工作 中 十 分 重要 。P 

1. RGB 颜色 空间 

光谱 中 最 重要 的 颜色 是 红 (R)、 绿 (G)、 蓝 (B) 三 基色 ， 所 有 颜色 都 可 以 由 三 基色 相 加 
而 产生 。RGB 颜 色 空 间 是 一 个 立方 体 三 维 坐标 空间 结构 ， 分 别 用 红 、 绿 、 蓝 表示 三 个 坐标 
轴 ， 如 图 4-1 所 示 。 立 方 体 的 底部 R=G=B8=0 处 为 黑色 ， 顶 部 与 其 相对 角 R=G=B=255 处 为 白 
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色 。 由 于 图 像 采集 和 显示 设备 使 用 的 是 RGB 颜色 空间 ， 所 以 RGB 颜色 空间 是 彩色 图 像 处 理 
中 最 基础 、 最 常用 的 颜色 空间 。 


蓝 (0，0，255) 





青 (0，255，255) 
品 红 (255, 0, 255) © 


红 (255, 0, 0) #255, 255, 0) 
图 4-1 RGB 颜色 空间 

RGB 颜色 空间 的 主要 缺点 : @ 不 直观 ， 即 从 RGB 值 中 很 难看 出 其 所 表示 的 颜色 
的 认 知 属性 ; 加 不 均匀 ， 即 两 个 色 点 之 间 的 距离 不 等 于 两 个 颜色 之 间 的 知觉 差异 ;， @ 
对 硬件 设备 具有 依赖 性 。 因 此 ，RGB 颜 色 空间 是 一 个 与 设备 相关 的 、 颜 色 描述 不 完全 
直观 的 空间 。 为 了 克服 RGB 颜色 空间 的 不 均匀 和 不 直观 的 缺点 ， 在 彩色 图 像 处 理 中 大 
多 采用 更 加 符合 颜色 视觉 特性 的 颜色 空间 。RGB 颜 色 空 间 能 被 转变 为 所 需要 的 其 他 任 
何 颜色 空间 。 由 于 任何 三 个 基色 都 能 表示 一 种 颜色 ， 根 据 三 基色 理论 的 实现 要 求 ， 可 
以 使 用 不 同 颜色 空间 的 不 同 基色 来 表达 同一 种 颜色 。"?7 颜 色 空间 变换 提供 了 一 种 三 
基色 颜色 空间 向 另 一 种 三 基色 颜色 空间 的 映射 方法 ， 实 现 从 一 组 原色 向 另 一 组 原色 转 
换 ， 这 是 由 于 任何 原色 刺激 都 可 以 由 其 他 组 原色 刺激 的 混合 来 生成 。 例 如 ， 从 RGB 到 
R'G'B' 变 换 可 以 写 为 


R'-ayRtaj4Gta4B (4-1) 
G'-a,,R*a,,G*a,,B (4-2) 
B'-a,R*ajG*a,B (4-3) 
或 者 写 为 
P'=TP (4-4) 


这 里 7 变换 矩阵 中 ，P 和 PP 是 不 同 的 颜色 空间 。 


du 05» 3 
| ie Hus Uu (4-5) 
Ha 





a5 
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2. CMY(CMYK) 颜 色 空间 

CMY 颜 色 空间 是 一 个 矩形 直角 空间 结构 ， 其 三 基色 分 别 为 深蓝 (C)、 品 红 (M) 和 黄 
(Y)。 它 利用 减 色 法 获得 各 种 颜色 ， 常 用 于 非 发 射 显 示 ， 如 喷 墨 式 打印 机 等 。 等 量 的 颜料 
三 基色 可 以 产生 黑色 ， 但 实际 上 这 样 产生 的 黑色 是 不 纯 的 。 通 常 为 了 产生 真正 的 黑色 ， 要 
加 入 第 四 种 颜色 一 一 黑色 K)， 提 出 了 CMYK 颜 色 空间 。CMY 颜 色 空间 不 直观 ， 而 且 是 非 
线性 感知 的 。CMY 颜 色 空 间 的 三 基色 与 RGB 颜色 空间 的 三 基色 为 互补 色 。 虽 然 这 两 个 三 
基色 集合 产生 的 空间 并 不 完全 真正 对 应 ， 但 有 简单 的 近似 公式 可 以 相互 变换 ， 从 RGB 颜色 
空间 到 CMY 颜 色 空间 的 变换 公式 为 


C-1-R 
M-1-G (4-6) 
Y -1-B 


K-min(C, M, Y) 
acce 
1-K 
-M-K (n 
1-K 
pa 
1-K 

3. YUV 与 YIQ 颜 色 空间 

YIQ、YUV 和 YC,C, 颜 色 空 间 都 产生 一 种 亮度 分 量 信 号 和 两 种 色 度 分 量 信号 ， 而 每 一 
种 变换 使 用 的 参数 都 是 为 了 适应 某 种 类 型 的 显示 设备 。 其 中 ，YIQ 适 用 于 NTSC 彩 色 电视 
制式 ，YUV 适 用 于 PAL 和 SECAM 彩 色 电 视 制 式 ， 而 YC,C, 适 用 于 计算 机 的 显示 器 。 

在 彩色 电视 制式 中 ， 使 用 YIQ 和 YUV 模 型 来 表示 彩色 图 像 。YIQ 颜 色 空间 是 美国 国家 
电视 标准 委员 会 QTSC) 定 义 的 电视 广播 标准 。 在 YIQ 颜 色 空间 中 ，Z 为 亮度 信息 ， 人 ”为 
色 度 值 ， 是 两 个 彩色 分 量 。 其 中 ， 芒 橙色 向 量 ，@ 为 品 红色 向 量 ， 各 分 量 近似 正 交 。 正 交 
颜色 空间 主要 应 用 在 彩色 电视 系统 ， 可 以 减少 电视 信号 传输 的 带宽 ， 是 彩色 图 像 编 码 和 压 
缩 的 基础 。 欧 洲 定义 了 相交 蔡 制 式 (PAL)， 使 用 YUV 格 式 。 在 这 种 颜色 空间 中 ，7 为 亮度 
信息 ，U、 了 为 色差 信号 ，U、T 是 构成 彩色 的 两 个 分 量 。YUV 颜 色 空 间 与 YIQ 颜 色 空间 类 
似 ， 差 别 仅 在 于 空间 多 了 一 个 33° 的 旋转 ， 目 的 是 可 以 与 黑白 电视 兼容 。 电 视 信号 在 发 射 
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时 ， 转 换 成 YUV 形 式 ， 接 收 时 再 还 原 成 RGB 三 基色 信号 ， 由 显像管 显示 。YUV 表 示 法 中 
的 亮度 信号 (7) 和 色 度 信号 (VU、 矿 ) 是 相互 独立 的 ， 即 7 信号 分 量 构 成 的 黑白 灰 度 图 与 用 UU、 
V 信 号 构成 的 另外 两 幅 单 色 图 是 相互 独立 的 。 此 外 ， 黑 白 电视 能 接收 彩色 电视 信号 ， 就 是 
利用 了 YUV 分 量 之 间 的 独立 性 。YUV 表 示 法 的 另 一 个 优点 是 可 以 利用 人 了 眼 的 特性 来 降低 
数字 彩色 图 像 所 需要 的 存储 容量 。 
1) YUV 与 RGB 的 空间 变换 
在 考虑 人 的 视觉 系统 和 阴极 射线 管 (CRT) 的 非 线 性 特性 之 后 ，RGB 和 YUV 的 对 应 关系 
可 以 近似 地 用 下 面 的 方程 式 表 示 
Y=0.299R+0.587G+0.114B 
U =- 0.147R- 0.289G + 0.436B (4-8) 
V — 0.615R - 0.515G - 0.1008 
2) YIQ 与 RGB 的 空间 变换 
RGB 和 YIQ 的 对 应 关系 用 下 面 的 方程 式 表示 
Y =0.299R + 0.587G + 0.114B 
I =0.596R - 0.275G - 0.3218 (4-9) 
Q =0.212R - 0.523G + 0.3118 


4.1.2. 面向 视觉 感知 的 颜色 空间 


面向 设备 的 颜色 空间 与 人 眼 的 视觉 感知 有 一 定 的 距离 ， 例 如 给 定 一 个 颜色 ， 人 很 难 判 
定 其 中 的 各 个 RGB 分 量 ， 这 时 使 用 面向 视觉 感知 的 颜色 空间 比较 方便 。 

在 面向 视觉 感知 的 颜色 空间 中 ， 人 们 通过 将 人 类 对 颜色 的 观察 情况 组 合 而 建立 的 备 塞 
尔 颜色 空间 是 一 个 基本 的 颜色 空间 ， 它 主要 基于 主观 观察 ， 用 于 艺术 领域 。 在 此 基础 上 ， 
人 们 又 提出 了 许多 与 孟 塞 尔 系统 近似 的 比较 客观 的 颜色 空间 ， 如 HIS、HSB 等 。 这 些 颜 色 
空间 与 人 类 关于 颜色 的 视觉 感知 比较 接近 ， 同 时 独立 于 设备 ， 是 非 线 性 的 。 

1. 由 色 卡 系列 构成 的 颜色 空间 

备 塞 尔 (MunselD) 颜 色 空间 以 及 奥 斯 特 瓦尔 德 (Ostwalds) 颜 色 空间 是 经 过 大 量 实验 得 到 
的 一 套 实验 数据 或 比 色 卡 ， 不 能 直接 应 用 于 图 像 的 表达 和 处 理 ， 但 可 以 作为 判断 其 他 颜色 
空间 独立 性 和 均匀 性 的 标准 。 备 塞 尔 和 奥 斯 特 瓦尔 德 颜色 空间 ， 都 是 色调 、 饱 和 度 和 亮度 
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的 三 维 表达 ， 它 们 都 有 沿 着 圆周 的 光谱 色调 。 沿 着 垂直 中 线 到 颜色 环 平面 亮度 发 生变 化 ， 
主要 的 亮度 轴 被 称 为 非 彩色 轴 ， 沿 着 这 个 轴 ， 颜 色 变 化 从 白 到 灰 ， 再 到 黑 。 饱 和 度 表示 为 
与 非 彩色 轴 之 间 的 距离 。 孟 塞 尔 颜色 空间 是 目前 使 用 的 最 重要 的 表 色 系统 之 一 ， 美 国 和 日 
本 的 颜色 标准 都 以 它 为 基础 ， 并 得 到 世界 公认 。 

和 孟 塞 尔 颜色 空间 于 1905 年 被 提出 "5 ， 之 后 又 经 过 几 百 万 人 次 的 实验 和 修正 ， 其 明度 
值 以 及 色调 、 彩 色 的 编排 均 接近 视觉 上 等 距 的 原则 ， 因 此 常常 作为 判断 其 他 颜色 空间 均匀 
性 和 独立 性 的 标准 。 孟 塞 尔 颜 色 空间 包括 1500 种 系统 排列 的 颜色 样本 。 这 是 一 种 均匀 颜色 
空间 的 三 维 表示 。 一 个 色调 环 被 分 为 5 个 主要 色调 ， 即 红 、 黄 、 绿 、 蓝 和 紫 。 这 些 颜 色 又 
被 进一步 分 为 5 个 中 间 色 调 ， 即 红 黄 、 黄 绿 、 绿 蓝 、 蓝 紫 和 红 紫 ， 而 这 些 被 分 出 来 的 颜色 
中 的 每 一 个 又 被 划分 为 10 种 颜色 ， 从 而 得 到 100 种 分 离 的 色调 。 备 塞 尔 颜色 空间 的 一 个 重 
要 属性 是 饱和 度 和 亮度 的 数量 级 别 是 按照 相等 的 知觉 间隔 来 确定 的 。" ?在 三 维 空间 中 备 
塞 尔 颜色 空间 为 立体 ， 如 图 4-2(a) 所 示 。 它 的 不 规则 外 形 是 由 于 饱和 度 和 亮度 随 着 相等 的 
知觉 间隔 而 变化 。 

奥 斯 特 瓦尔 德 颜 色 系统 与 孟 塞 尔 颜色 系统 是 相似 的 ， 但 在 奥 斯 特 瓦尔 德 颜色 系统 中 ， 
定义 每 一 种 色调 都 是 按 固定 比例 数量 混合 得 到 的 ，8 个 相等 空间 分 布 的 颜色 从 白 到 黑 变 
化 。 如 图 4-2(b) 所 示 ， 图 中 的 这 种 规则 外 形 是 由 于 奥 斯 特 瓦尔 德 颜色 空间 不 依赖 于 相等 的 
感知 差别 。 


NL militie 
(a) 孟 塞 尔 颜 色 空间 (b) 奥 斯 特 瓦尔 德 颜 色 空间 
图 4-2 孟 塞 尔 和 奥 斯 特 瓦尔 德 颜色 空间 





2. XYZ 颜 色 空间 
由 于 用 RGB 颜色 空间 比 配 等 能 光谱 时 存在 负 比 配 ， 为 了 用 三 基色 定义 所 有 的 颜色 ， 国 
际 照明 委员 会 (CIE) 定 义 了 三 种 标准 基色 X、Y、Z， 这 三 种 基色 是 虚拟 的 ， 使 颜色 比 配 全 
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部 为 正 值 ， 称 为 XYZ 颜 色 空间 ， 是 一 种 设备 独立 的 颜色 空间 。 在 这 个 空间 内 ， 监 视 器 的 颜 
色 范 围 成 为 一 个 变形 的 六 面体 。 它 与 RGB 颜色 空间 之 间 的 关系 是 线性 关系 ， 其 形状 大 约 
是 一 个 顶点 在 坐标 原点 的 圆锥 体 ， 锥 体 的 外 表面 可 以 看 成 由 一 些 从 原点 出 发 而 终止 于 一 
条 边 的 光线 组 成 ， 这 些 光 线 可 以 看 成 某 些 色彩 的 各 种 颜色 的 集合 ， 而 了 7 值 则 表示 某 个 颜色 
的 亮度 。 

XYZ 颜 色 空间 包含 所 有 人 类 能 够 感觉 到 的 颜色 ， 而 且 它 是 基于 由 实验 测定 的 颜色 匹 
配 函 数 ， 因 此 它 不 同 于 RGB 颜色 空间 只 表示 监视 器 所 能 显示 的 颜色 范围 ， 而 是 显示 所 
有 颜色 。 在 XYZ 颜 色 空间 内 ， 可 以 通过 改变 三 个 分 量 的 数值 来 得 到 需要 的 颜色 。 

XYZ 颜 色 空 间 的 一 个 重要 属性 是 它 的 设备 非 依赖 性 ， 每 一 个 颜色 空间 都 有 一 个 来 
自 CIE 的 XYZ 颜 色 空间 转变 量 。 这 个 XYZ 颜 色 空间 通常 作为 一 个 参考 颜色 空间 使 用 ， 
它 像 一 个 中 级 非 依赖 装置 颜色 空间 。 

X. Y. Z 和 R、G、B 系 数 之 间 的 关系 为 
X 


y 
Z 


2.7689 1.7518 1.1302 
=|1.0000 4.5907 0.0601 
0.0000 0.0565 5.5943 


R 
G 
B 


(4-10) 




















3. HSI 颜 色 空间 

HSI 颜 色 空 间 是 从 人 的 心理 感知 角度 建立 的 。H( 色 调 ) 是 指 一 种 颜色 在 色谱 中 所 对 应 的 
主 波长 ，S( 饱 和 度 ) 相 当 于 颜色 的 纯度 ，I( 亮 度 ) 是 感觉 的 均匀 量 。 与 HSI 颜 色 空 间 相 类 似 的 
还 有 HSV、HCV、HSB 等 颜色 空间 59， 它 们 都 属于 极 坐 标 空间 结构 ， 其 中 多 数 与 RGB 空间 
都 是 线性 关系 ， 因 而 是 与 设备 相关 的 非 线性 颜色 空间 。 这 些 颜 色 空间 的 优点 是 能 直观 地 描 
述 颜 色 。 

HSI 颜 色 空间 有 两 个 重要 的 特点 。 首 先 ， 亮 度 分 量 与 色 度 分 量 是 分 开 的 ，7 分 量 与 图 像 
的 彩色 信息 无 关 。 其 次 ， 互 及 8 分 量 与 人 感受 彩色 的 方式 紧密 相连 。 这 些 特 点 使 得 HSJI 颜 色 
空间 非常 适合 基于 人 的 颜色 感知 特性 进行 处 理 和 分 析 的 图 像 处 理 算法 。 其 中 ， 刀 分 量 对 彩 
色 描 述 的 能 力 与 人 的 视觉 最 接近 ， 区 分 力 比较 强 。 

HSI 颜 色 空 间 的 坐标 系统 接近 圆柱 坐标 系统 。 对 其 中 任意 一 个 颜色 点 P， 万 值 对 应 指 
向 该 点 的 向 量 与 R 轴 的 夹 角 。 这 个 点 的 5 与 指向 该 点 的 向 量 长 度 成 正比 。7 值 与 该 点 所 在 平 
面 与 最 下 方 对 应 黑色 点 的 距离 成 正比 。 如 果 颜色 点 在 ! 轴 上 ， 则 其 S 值 为 零 而 且 右 没有 被 定 
义 ， 这 些 点 被 称 为 奇异 点 。 奇 异 点 的 存在 是 HSI 模 型 的 一 个 缺陷 ， 而 且 在 奇异 点 附近 ， 
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RGB 数值 的 微小 变化 会 引起 豆 、S、 人 三 值 的 明显 变化 。 
HSI 颜 色 空间 与 RGB 颜色 空间 可 以 通过 一 定 的 算法 相互 转换 "2， 可 使 用 下 列 方 程 


- uim inis 
2. 


A(G-Gy *(R- BYG- B) 


H- (4-11) 
nose e jsa 


24(R- Gy +(R-BXG-B) 
3 . 
si [I 2-5 nin G, B) (4-12) 


_R+G+B 
3 


由 式 (4-11) 直 接 计 算出 的 在 [0，360]， 为 使 BH 在 [0，1]， 可 再 令 H=H/360 进 行 转 
换 。 另 外 ， 当 5=0 时 ， 无 对 应 色 ， 这 时 妖 没 有 意义 ， 此 时 定义 如 为 0， 当 左 0 或 三 1 时 ，5 值 
没有 意义 。 

处 理 图 像 时 常 需要 将 HSI 转 换 为 RGB。 在 [0，1] 给 出 HSI 值 ， 并 在 相同 的 值 域 找到 RGB 
值 ， 可 利用 瓦 值 公式 。 在 原始 分 割 中 有 3 个 相隔 120* 的 扇形 ， 如 图 4-3 所 示 。 从 及 乘 以 360° 
开始 ， 这 时 色调 值 返回 到 原来 的 范围 [0" ，360°]。 


绿 黄 绿 黄 绿 
蓝 深 红 蓝 深 红 E Wa 红 


图 4-3 HSI 彩色 空间 中 的 色调 和 色 饱 和 度 
RG 扇 区 (0" <H<120°): 当 H 位 于 这 一 扇 区 时 ，RGB 分 量 为 
B-I(Ds) (4-14) 

ScosH | 


T cos(60° —H ) 


G=1D(R+B) (4-16) 


j (4-13) 


E: 

! 

~ 
rme 

— 


(4-15) 
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GB 扇 区 (120" <SH<240°): 如 果 给 定 的 已 值 在 这 一 扇 区 ， 首 先 从 五 中 减 去 120”， 即 


H'-Hj120* (4-17) 
然后 RGB 分 量 为 
R-IQDS) (4-18) 
ed Sely | (4-19) 
B=10(R+G) (4-20) 
BR 扇 区 (240° <H<360°): 如 果 及 在 这 一 扇 区 ， 从 肌 中 减 去 240”， 即 
H'-Hip40* (4-21) 
然后 RGB 分 量 为 
G=TI09) (4-22) 
a fosa HT | 
cos(60" -H ) (F23) 
R=10(G+HD) (4-24) 


HSI 颜 色 空间 提供 了 能 更 好 地 符合 人 眼 颜 色 感知 习惯 的 描述 颜色 的 三 个 分 量 ， 但 RGB 
仍然 存在 色觉 差异 非 线 性 的 缺点 ， 尤 其 在 8 方向 上 的 颜色 与 角度 是 非 线性 的 。"”” 


4.1.3 均匀 颜色 空间 


均匀 颜色 空间 本 质 上 仍 是 面向 视觉 感知 的 颜色 空间 ， 只 是 在 视觉 感知 方面 更 为 均 
匀 。 在 对 颜色 的 感知 、 分 类 和 鉴别 中 ， 对 颜色 的 描述 应 该 是 越 准 确 越 好 。 从 图 像 处 理 
的 角度 来 看 ， 对 颜色 的 描述 应 该 与 人 对 颜色 的 感知 越 接近 越 好 。 从 视觉 均匀 的 角度 来 
看 ， 人 所 感知 到 的 两 种 颜色 的 距离 最 好 与 这 两 个 颜色 在 表达 它们 的 颜色 空间 中 的 距离 成 
比例 。 [175] 

如 果 在 颜色 空间 中 任 选 一 点 ， 通 过 该 点 的 任意 方向 上 相同 的 距离 能 表示 相同 的 颜色 
感觉 变化 ， 则 称 这 样 的 颜色 空间 为 均匀 颜色 空间 。 均 匀 颜 色 空间 的 确定 试图 完全 按照 人 
类 对 颜色 的 感知 来 划分 颜色 。™™ 

1. CIEL*a*b* 颜 色 空 间 

CIEL a b 颜色 空间 是 为 感觉 均匀 而 设计 的 一 个 国际 标准 ， 其 目的 是 使 人 感受 的 颜色 差 
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别 等 同 对 应 CIEZL'a'5' 颜 色 空间 中 相等 的 欧 几 里 得 距离 ， 以 及 所 有 颜色 都 按照 其 实验 测 得 
的 相互 之 间 知觉 色差 的 多 少 ， 尽 可 能 均匀 地 分 布 于 颜色 空间 ， 这 是 目前 最 均匀 的 颜色 
空间 。 

CIE 早 期 推荐 的 颜色 空间 主要 有 才 克 斯 韦 三 角形 、RGB 坐 标 、XYZ 坐 标 等 。 因 为 提出 
它们 的 最 初 目 的 只 是 充分 而 方便 地 表达 自然 界 的 色彩 ， 没 有 考虑 人 眼 的 颜色 分 辨 特性 ， 所 
以 独立 性 和 均匀 性 都 较 差 。 如 果 颜 色 模 型 能 提供 空间 位 置 与 视觉 系统 之 间 良 好 的 对 应 关 
系 ， 就 会 给 颜色 研究 工作 带 来 很 多 便利 。 

CIE 于 1976 年 提出 的 CIEF"o2 色 度 系统 就 是 这 样 一 个 颜色 空间 ， 其 中 广 、w、 忆 坐标 
分 别 表示 明度 、 红 和 黄 ， 空 间 中 的 位 置 指明 其 对 应 的 颜色 。 在 该 系统 中 ， 明 度 Z 表 示 颜 色 
明亮 的 程度 ，ax 表示 红色 在 颜色 中 占有 的 成 分 ，0a "表示 红色 的 补 色 在 颜色 中 占有 的 成 
分 ; 5" 代 表 颜 色 中 黄色 的 成 分 ，02" 表 示 黄 色 的 补 色 在 颜色 中 占有 的 成 分 。CIEL'a'b'* 颜 
色 空 间 是 基于 对 立 色 理论 和 参考 白 点 而 建立 的 ， 与 设备 无 关 ， 适 用 于 接近 自然 光照 的 
应 用 场合 。 

三 个 刺激 量 和 了 、2 到 CIEL'a'b' 颜 色 空间 的 转换 公式 为 


1 
diea, ?4Y / Y, > 0.008 856 


à (4-25) 
903.3f (Y/Y, Y /Y,<0.008 856 
a' =500[ £(X/ X) -fY1%)] (4-26) 
b =200[ f(Y/X) - f(Z/ Z) (4-27) 
其 中 
^ ?41 > 0.008 856 
na- oma 16 ?4:«:0.008 856 ini: 


各 式 中 的 下 标 0 表示 对 应 的 参考 白 点 。 

CIEZ a2 强调 对 绿色 的 表示 (对 绿色 比较 敏感 )， 其 次 是 红色 和 蓝 色 。 

2. CIEL 'u v B E Z] 

CIE 同 时 定义 了 CIEL*ww' 颜 色 空 间 ， 与 CIEL'a*b* 类 似 ，w*、v' 表 示 由 色调 和 彩 度 形成 
的 色 感知 属性 。CIEL'u'v* 和 CIEL'a'b* 有 一 些 共 同 的 特点 。 首 先 ， 它 们 的 颜色 空间 虽然 不 
能 达到 完全 均匀 ， 但 基本 上 是 均匀 的 。 其 次 ， 因 为 基于 颜色 测量 的 CIE 系 统 ，CIEL*w'v "和 
CIEL'a'b' 都 是 与 设备 无 关 的 颜色 空间 。 
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CIEZ'u v 颜色 空间 同样 是 基于 对 立 色 理 论 和 参考 白 点 而 建立 的 ”"， 与 设备 无 关 ， 适 
用 于 显示 器 显示 和 根据 加 色 原理 进行 组 合 的 应 用 场合 。" 
三 个 刺激 量 系 Y. ZACEL u v 颜色 空间 的 转换 公式 为 


116(Y/Y,5 -16 Y/Y, > 0.008 856 


BÉ p (4-29) 
903(Y/Y,5 34Y/Y,«0.008 856 
u-13LQDus) (4-30) 
v-13L( ve’) (4-31) 
变量 w、v' 和 wi。、vo 可 以 从 下 式 得 出 

nw 2:30 
0X 415Y 43Z 6-33) 
FEL CN am 
” AVIS «32, (33) 
E M 4-34 
(OX &15Y «3Z dinis 

e 9Y, 
=E, 15Y, 4 3Z, ina 


Xs Ys ZARE HAMAX Y. Zi. CIEL'u v 颜色 空间 强调 对 红色 的 表示 ， 即 对 
红色 变化 比较 敏感 ， 但 对 蓝 色 表示 得 比较 粗糙 。 

CIEZ'v v RICIEL'a'b' 颜色 空间 是 为 了 解决 颜色 的 等 距 度量 而 建立 的 ， 具 有 均匀 明度 标 
尺 和 均匀 色 品 标尺 ， 其 独立 性 和 均匀 性 显然 优 于 XYZ 空 间 ， 但 是 ， 由 于 均匀 色 品 标尺 没有 
把 色调 和 饱和 度 分 离开 ， 所 以 只 有 一 个 亮度 分 量 能 用 于 处 理 ， 而 不 能 利用 彩色 图 像 的 色彩 
信息 ， 这 会 把 彩色 图 像 处 理 限 制 在 灰 度 图 像 处 理 的 范围 ， 极 大 地 束缚 了 彩色 图 像 处 理 的 手 
脚 ， 不 是 应 选 的 最 佳 颜 色 空间 。 相 对 来 讲 ， 它 是 目前 推荐 的 最 好 用 的 量化 分 析 颜 色 的 均匀 
空间 。 除 了 继承 XYZ 颜 色 空间 的 优点 外 ， 它 还 有 两 个 新 的 优点 :颜色 差异 的 规范 化 空 
间 ; @CIEZzv 和 CIEZ a b' 颜色 空间 可 以 由 圆柱 坐标 表示 ， 因 此 可 以 满足 不 同 的 需要 。 由 
于 具有 这 些 优点 使 这 两 种 颜色 空间 在 对 颜色 有 严格 要 求 的 应 用 场合 中 更 加 实用 。 

3. LHS 颜 色 空间 

在 CIEL*w'v' 空 间 中 ， 以 等 能 白光 的 色 品 坐标 (x。，vo) 为 中 心 ， 如 果 其 他 色 品 位 置 
(zx，y) 与 之 连 线 ， 那 么 连 线 的 长 度 可 以 代表 饱和 度 ， 连 线 相对 于 某 一 基准 线 的 角度 可 以 
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代表 色调 。 因 此 ， 为 了 克服 CIE 颜 色 空间 的 固有 缺陷 ， 有 人 从 Luv 空 间 中 推导 出 亮度 一 色 
度 一 饱和 度 ( 即 LHS) 颜 色 空间 。 其 表达 式 为 
L-bh 





H arem ( 572) (4-36) 
S - [(u —uoy. - (v—voy ]^? 

因为 LHS 空 间 的 三 个 分 量 能 在 较 大 的 范围 内 满足 彩色 图 像 处 理 的 两 个 要 求 ， 而 且 它们 
与 人 眼 的 颜色 感觉 相对 应 ， 可 以 有 目的 地 进行 处 理 ， 因 而 在 彩色 图 像 处 理 中 具有 比 其 他 颜 
色 空间 更 好 的 优越 性 。 

该 颜色 空间 具有 两 个 缺陷 : 一 是 在 处 理 过 程 中 如 果 某 一 分 量 的 变化 幅度 超过 一 定 的 
范围 ， 会 引起 其 他 分 量 的 变化 ， 即 独立 性 不 是 很 好 。 例 如 ， 亮 度 分 量 改 变 较 大 时 ， 可 能 
会 引起 色调 的 变化 。 二 是 亮度 分 量 和 饱和 度 分 量 存在 “越界 ”问题 ( 即 超过 允许 的 最 大 
值 )。 


4.1.4 色差 度量 


欧 氏 距离 内 颜色 距离 度量 是 最 简单 的 度量 方法 之 一 。 在 RGB 图 像 中 ， 给 定 一 个 有 代表 
性 的 彩色 点 样品 集 ， 可 得 到 一 个 彩色 “平均 ”估计 ， 用 RGB 向 量 a 来 表示 这 个 平均 彩色 。 
令 z 代 表 RGB 空间 中 的 任意 一 点 ， 如 果 它们 之 间 的 距离 小 于 特定 的 阅 值 Pu， 我们 说 z 和 是 
相似 的 ，z 和 a 之 间 的 欧 氏 距离 为 

De, a)-|lz-al-H-aY-a)]: 

(zra) Hza) +(2y an) 
其 中 ， 注 脚 R、G、8 表 示 向 量 a 和 z 的 RGB 分 量 。D(z，4)<D, 的 点 的 轨道 是 半径 为 D, 的 实 
心 球 。 包 含 在 球 内 部 和 表面 上 的 点 符合 特定 的 彩色 准则 ， 球 外 面 上 的 点 则 不 符合 准则 。 

公式 (4-37) 一 个 有 用 的 推广 是 如 下 形式 的 距离 测度 


(4-37) 


ne a)-[z-aY C*(z-a)]: (4-38) 
这 里 C 是 希望 分 割 的 彩色 典型 样本 的 斜 方差 矩阵 。 因 为 距离 是 正 的 和 单调 的 ， 可 以 用 
距离 的 平方 运算 来 代替， 这 样 就 避免 了 开 方 运算 。 然 而 即使 不 计算 平方 根 ， 执 行 式 (4-38) 
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的 计算 代价 也 很 高 。 折 中 方案 是 使 用 边界 盒 。 在 该 方法 中 ， 盒 的 中 心 在 ?上 ， 沿 每 一 彩色 
轴 的 尺度 选择 与 沿 每 一 个 轴 取 样 的 标准 差 成 比例 ， 标 准 差 的 计算 只 使 用 一 次 样本 数据 。 
RGB 颜色 空间 内 的 欧式 距离 计算 中 没有 充分 考虑 颜色 的 视觉 感觉 特性 ， 实 际 中 有 时 会 
产生 错误 的 色差 度量 结果 ， 因 此 可 以 考虑 在 均匀 颜色 空间 内 的 色差 度量 。 
在 均匀 颜色 空间 内 进行 色差 的 度量 是 相对 理想 的 方式 ， 例 如 在 CIEZ"xwv 颜色 空间 内 色 
差 公式 为 





AE, - (Ac) «(uw ) +(Av) (4-39) 
$5. ADS. Aiie AE 
CIEZ'a' b' 颜色 空间 内 色差 公式 为 
AE, - (Ac ) +(Aa') +(A5') (4-40) 


H, ALMA. Aaaa ABE. 

上 文 给 出 了 用 于 颜色 色差 度量 的 一 些 基本 方法 。 由 于 RGB 颜色 空间 本 身 的 不 均匀 性 ， 
它 并 不 能 很 好 地 满足 颜色 视觉 特性 ， 而 采用 其 他 近似 均匀 的 颜色 空间 ， 存 在 空间 变换 复 
杂 、 计 算 烦 琐 等 缺陷 。 如 何 得 到 既 可 以 适度 地 满足 颜色 视觉 特性 ， 又 计算 简单 ， 是 彩色 图 
像 处 理 中 色差 计算 所 追求 的 目标 。 


42 ” 闫 色相 似 性 度量 


色差 度量 本 质 上 是 颜色 之 间 相 似 性 的 度量 ， 色 差 大 代表 颜色 相似 性 程度 小 ， 反 之 ， 
色差 小 则 代表 颜色 相似 性 程度 大 。 因 此 ， 我 们 可 以 从 另外 一 个 角度 ， 即 利用 颜色 相似 性 
来 分 析 两 种 颜色 之 间 的 色差 。 颜 色相 似 性 度量 在 彩色 图 像 边 缘 检测 、 区 域 分 割 以 及 图 像 
检索 、 图 像 压缩 等 领域 中 有 广泛 的 应 用 ， 是 其 他 彩色 图 像 研究 领域 的 基础 ， 起 到 重要 的 
作用 。 

颜色 相似 性 度量 与 颜色 的 表示 方式 一 一 颜色 空间 有 密切 的 关系 。 在 均匀 颜色 空间 内 ， 
实现 颜色 相似 性 度量 ， 将 更 加 符合 人 眼 颜 色 视觉 特性 ， 得 到 效果 更 佳 的 彩色 处 理 结果 。 对 
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各 类 颜色 空间 的 定义 、 转 换 以 及 色差 度量 的 分 析 结 果 表 明 ， 目 前 还 没有 设计 出 完全 满足 人 
眼 视觉 特性 的 颜色 空间 。 相 对 来 讲 ，CIEL'w'v' 和 CIEL'a'5' 以 及 HSI 等 颜色 空间 更 加 符合 颜 
色 视 觉 特 性 的 要 求 。 彩 色 图 像 处 理 中 经 常 采用 HSI 颜 色 空间 表示 颜色 ， 实 现 色 差 度量 ， 可 
以 在 一 定 程度 上 满足 颜色 视觉 特性 的 要 求 。 

彩色 图 像 最 常用 的 颜色 表示 是 RGB 颜色 空间 ， 是 一 种 基本 的 颜色 描述 方法 ， 但 由 于 
RGB 颜色 空间 的 非 均 匀 性 ， 直 接 利 用 这 些 分 量 进行 彩色 图 像 处 理 常 常 不 能 得 到 所 需 的 效 
果 ， 需 要 选择 能 够 较 好 地 表示 彩色 图 像 的 颜色 空间 。 实 际 中 ， 常 将 RGB 颜色 空间 转换 到 其 
他 颜色 空间 中 去 。 但 由 于 在 RGB 颜色 空间 变换 过 程 中 计算 复杂 ， 这 影响 了 大 数据 量 彩 色 图 
像 处 理 的 实时 性 要 求 。 

颜色 相似 度量 是 彩色 图 像 处 理 中 的 基本 运算 ， 要 求 在 一 定 程度 上 满足 颜色 视觉 特性 ， 
同时 要 保证 一 定 的 实时 性 。 一 种 理想 的 颜色 相似 度量 方法 应 该 采用 基本 的 RGB 颜色 空间 表 
示 颜 色 ， 不 必 进 行 复杂 的 颜色 转换 过 程 ， 同 时 满足 颜色 视觉 特性 。 据 此 ， 本 节 在 前 述 研究 
的 基础 上 提出 了 一 种 新 的 颜色 相似 性 度量 方法 ， 并 给 予 具体 介绍 。 





4.2.1 RGB 与 HSI 颜 色 空间 变换 的 特征 


设 彩色 图 像 中 的 一 个 像素 为 P， 在 RGB 颜色 空间 内 表示 为 P=[R，G，B]'， 从 RGB 
到 HSI 的 颜色 空间 转换 可 参照 公式 (4-11)、 公 式 (4-12)、 公 式 (4-13) 进 行 计算 。 

设 彩色 图 像 中 的 另 一 个 像素 为 P， 在 RGB 颜色 空间 内 表示 为 P=[KER，KG，KB]'， 这 
里 有 为 常 值 比例 系数 。 那 么 关于 忆 的 色 度 玉 、 饱 和 度 S8'、 亮 度 7 的 值 分 别 为 (以 了 < G 为 例 ， 
B>G 类 同 ) 


ei € 9 

S'-1 x [min(KR, KG. KB)] 

e? [Kmi 

=1 FT G, Bj] 
3 ] 

=l- pyg Mie G, B)] 


三 次 


(4-41) 
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eo (KR— KG)+ (KR— KB) 
24 KR — KG y - (KR- KBYKG— KB) 
aa K(R-G)+K(R-B) 
2KA(R - Gy. - (R- BG — B) 
(R-G)-« (R- B) 


= cos! 
PE nM 


=H 





(4-42) 





E KR+ KG + KB -K R+G+B = 
3 3 
综 上 所 述 ， 如 果 两 种 颜色 RGB 值 的 大 小 成 比例 ， 则 它们 的 色 度 和 饱和 度 值 是 相等 的 ， 


亮度 值 成 K 倍 关系 。 这 是 在 进行 RGB 与 HSI 颜 色 空间 变换 过 程 中 表现 出 的 一 个 特征 ， 利 用 
这 个 特征 我 们 可 以 进一步 提出 进行 颜色 相似 性 度量 的 新 方法 。 


I KI (4-43) 


4.2.2 ”颜色 相似 系数 


1. 色 度 饱和 度 相似 系数 

在 RGB 颜色 空间 中 ， 颜 色 向 量 是 用 三 维 向 量 来 表示 的 。 对 于 三 维 空间 内 的 一 个 向 量 来 
说 ， 可 由 两 个 参量 决定 ， 即 向 量 的 方向 和 幅 值 。 判 断 两 个 向 量 之 间 的 相似 性 ， 也 由 这 两 个 
参量 来 决定 。 两 个 向 量 之 间 的 方向 相似 性 度量 可 由 相关 系数 的 计算 得 到 。 

设 RGB 颜 色 空间 中 的 两 种 颜色 用 颜色 向 量 分 别 表示 为 /和 sg， 这 里 扬 (f，f， 有 )"， 
9-(&1，82，83)。 这 两 个 颜色 向 量 之 间 的 相关 系数 用 Jf，g) 表 示 ， 则 YJ，g) 定 义 为 


nod 8) -— 
7? piel 





其 中 ， G D e MNE D sl= Ve; 9 rA 9eto. n0. 

498 4 BS ILIO AHAN, Ke BO. MiK f-Kes A-Kes Mf gl. 
随 着 两 个 颜色 向 量 之 间 的 夹 角 增 大 ，r(/，g) 值 减 小 。 这 样 可 以 通过 两 种 颜色 在 RGB 颜色 空 
间 内 计算 得 到 相关 系数 rf，g) 来 表示 在 HSI 颜 色 空 间 中 色 度 万 和 饱和 度 5 的 相似 程度 。7(/; 
9) 值 越 大 ， 相 似 程度 越 大 ， 反 之 亦 然 。 这 个 相关 系数 被 称 为 色 度 饱和 度 相 似 系数 ， 可 直接 
用 于 颜色 相似 性 的 分 析 计 算 中 。 
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2. 亮度 相似 系数 

两 种 颜色 的 相似 系数 为 1， 只 是 代表 颜色 各 个 分 量 成 一 定 比 例 ， 即 HSI 空 间 中 对 应 
的 色 度 和 饱和 度 是 相等 的 ， 但 并 不 代表 对 应 的 亮度 值 相 等 ， 它 们 的 亮度 有 可 能 相差 很 大 ， 
如 果 这 样 就 不 能 把 两 种 颜色 划 入 一 个 颜色 一 致 性 区 域 中 。 因 此 只 有 一 个 色 度 饱和 度 相 似 系 
数 还 无 法 完全 表示 出 两 个 像素 的 颜色 相似 性 程度 ， 需 要 进一步 比较 颜色 的 亮度 。 因 此 ， 
根据 RGB 与 HSI 颜 色 空间 变换 公式 ， 可 定义 一 个 比较 两 种 颜色 /和 sg 之 间 的 亮度 相似 系数 
kf, g), B 
Fae] 

C 

这 里 C=3X255=765。K(f，g)E[0，1]， 当 两 个 亮度 相同 时 ， 系 数 Kf，g)=1， 当 两 个 亮度 差 
WAH, kf, DERA. 

3. 颜色 相似 系数 

从 人 眼 颜色 视觉 特性 来 分 析 ， 色 度 和 饱和 度 的 区 别 是 主要 的 方面 ， 决 定 了 颜色 的 主要 
特性 。 所 以 在 上 述 的 两 个 系数 中 ， 色 度 饱和 度 相 似 系数 代表 了 颜色 相似 性 的 主要 方面 ， 而 
亮度 相似 系数 代表 颜色 相似 性 的 次 要 方面 。 综 合 考虑 这 两 个 系数 ， 可 以 分 别 对 两 个 系数 加 
权 ， 并 设 定 权 值 来 调整 两 个 系数 在 颜色 相似 性 度量 中 的 重要 程度 ， 这 样 可 以 得 到 一 个 综合 
的 颜色 相似 性 度量 系数 sf，g)， 简 称 颜 色相 似 系 数 ， 即 

s^ Darf, g)toklf, g) (4-46) 


kg. -1 (4-45) 


其 中 m+o=1，o>0，oo>0。 

颜色 相似 性 本 身 具 有 一 定 的 模糊 性 ， 颜 色相 似 与 否 不 能 简单 以 {0，1} 来 表示 ， 而 应 以 
连续 变化 的 数值 范围 表示 两 种 颜色 之 间 的 相似 程度 。 由 于 颜色 相似 系数 的 数值 范围 在 [0， 
1]， 其 间 不 同 数值 的 大 小 表示 两 种 颜色 之 间 的 相似 性 大 小 ， 很 好 地 满足 了 人 了 眼 对 于 颜色 之 
间 相 似 性 的 感知 属性 。 以 颜色 相似 系数 为 基础 的 颜色 相似 度量 方法 ， 可 广泛 用 于 彩色 图 像 
处 理 。 

4. 颜色 相似 性 判决 

定义 了 颜色 相似 系数 ， 就 可 以 判断 两 种 颜色 是 否 相 似 。 根 据 颜色 相似 系数 的 大 小 ， 针 
对 不 同 的 应 用 目的 ， 确 定 相应 的 颜色 相似 性 判定 阔 值 大 小 ， 判 别 两 种 颜色 是 否 相 似 。 判 定 
两 种 颜色 是 否 相似 的 规则 为 
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e g) 宇 Ts， 两 个 颜色 是 相似 的 - 
sf, g)« Ts， 两 个 颜色 是 不 相似 的 imi 
这 里 的 到 是 颜色 相似 性 判定 阔 值 。 


4.3 ”实验 结果 与 分 析 


选取 12 种 颜色 作为 样本 颜色 ， 如 图 4-4 所 示 。 按 从 上 到 下 、 从 左 到 右 的 顺序 ， 依 次 为 
各 种 颜色 编排 序号 为 1 一 12。12 种 颜色 的 RGB 数值 及 颜色 感觉 ， 如 表 4-1 所 示 。 选 取 第 12 号 
颜色 样本 即 深 红 色 作 为 基准 样本 。 按 照 计 算 它 与 其 他 颜色 样本 之 间 的 色 度 饱和 度 相 似 系 
数 、 亮 度 相似 系数 以 及 颜色 相似 系数 ， 最 后 根据 颜色 相似 系数 的 大 小 判断 12 号 颜色 样本 与 
其 他 颜色 样本 之 间 的 颜色 是 否 满足 相似 关系 ， 数 据 结果 如 表 4-2 所 示 。 

实验 中 ， 取 ww=0.85，o=0.15，N=0.98。 表 4-2 中 的 数据 显示 ， 颜 色相 似 系数 的 定义 和 
计算 结果 在 一 定 程度 上 满足 人 眼 颜色 视觉 的 相似 性 判定 规律 。 





图 4-4 12 种 颜色 样本 
表 4-1 ”12 种 颜色 样本 的 RGB 值 

















颜色 序号 颜色 感觉 ROI 
R B 
1 a 240 16 
2 绿 16 16 
3 蓝 16 240 
4 黄 240 16 
5 E 144 240 
6 RE 248 36 
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( 续 表 ) 
p - RGB 值 
颜色 序号 颜色 感觉 R B 
y 粉 208 16 240 
8 棕 134 16 16 
9 灰 128 128 
10 á 240 240 
1l 黑 16 16 
12 深 红 216 一 一 24 


表 4-2 ”颜色 相似 计算 结果 











mers | ”颜色 感觉  SEDEER 颜色 相似 系数 | ”是否 相似 
1 红 0.9983 0.985 6 是 
2 绿 0.1133 04053 否 
3 蓝 0.1870 04533 Li 
4 黄 0.7344 0.7066 否 
5 紫 0.6138 0.672 1 否 
6 i 0.9842 0.966 1 F 
7 Li 0.7408 0.7254 否 
8 棕 0.9689 0.9463 s 
9 X 0.664 4 07123 Li 
10 á 0.6644 0.558 6 Li 
11 黑 0.6644 0.6977 5 
44 结论 
通过 上 述 分 析 得 出 以 下 结论 : 


(1) 本 章 对 常用 且 具 有 代表 性 的 几 种 颜色 空间 进行 了 分 类 ， 并 分 别 给 予 相对 详细 的 介 
绍 ; 对 它们 的 设备 相关 性 、 感 知 均匀 程度 、 视 觉 直 观 性 以 及 色差 度量 等 方面 进行 了 分 析 和 
讨论 。 
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Q) RGB 颜色 空间 是 最 常用 的 一 种 颜色 空间 ， 大 多 用 于 彩色 图 像 的 输入 和 输出 。 但 由 
于 RGB 颜色 空间 本 身 的 缺陷 ， 在 彩色 图 像 处 理 中 经 常 需要 把 RGB 颜色 空间 转换 到 其 他 颜 
色 空 间 进 行 处 理 。 颜 色 空间 转换 是 研究 设备 彩色 特性 和 进行 色彩 管理 工作 的 基础 。 本 章 对 
RGB 颜色 空间 与 其 他 各 类 颜色 空间 的 转换 方法 进行 了 详细 的 介绍 。 

(3) 一 个 独立 性 和 均匀 性 较 好 的 颜色 空间 将 会 使 彩色 图 像 处 理发 挥 更 大 的 潜力 ， 是 彩 
色 图 像 处 理 中 必须 首先 考虑 的 问题 。 但 目前 还 没有 完全 满足 人 眼 颜色 视觉 特性 的 颜色 空间 
存在 ， 如 何 得 到 完全 均匀 的 颜色 空间 是 需要 进一步 解决 的 问题 。 

(4) HSI 颜 色 空间 是 相对 符合 人 眼 颜色 视觉 特性 的 颜色 空间 ， 在 彩色 图 像 处 理 中 得 到 广泛 
应 用 。 但 在 颜色 空间 变换 过 程 中 存在 复杂 的 计算 ， 影 响 了 彩色 图 像 处 理 的 实时 性 。 

(5) 根据 HSI 与 RGB 颜色 空间 的 转换 公式 ， 推 导出 两 种 空间 各 颜色 分 量 之 间 的 数值 对 
应 关系 。 据 此 ， 定 义 了 色 度 饱和 度 相似 系数 、 亮 度 相似 系数 。 根 据 人 眼 在 分 辨 颜色 时 的 特 
性 ， 最 终 定义 颜色 相似 系数 ， 确 定 了 两 种 颜色 相似 的 判别 规则 。 通 过 实验 证 明了 该 方法 符 
合 人 眼 颜 色相 似 判别 规律 。 该 方法 计算 简单 ， 易 于 实现 ， 可 用 于 彩色 图 像 匹配 中 的 像素 颜 
色相 似 性 计算 。 


第 5 章 
彩色 遥感 图 像 拼 接 
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彩色 图 像 由 于 具有 更 为 丰富 的 可 视 化 信息 ， 因 此 得 到 了 广泛 的 应 用 。 彩 色 图 像 中 像 
素颜 色 通常 需要 由 三 维 颜色 空间 向 量 来 表示 ， 因 此 与 灰 度 图 像 相 比 ， 在 图 像 的 表达 方式 
和 处 理 方法 上 存在 较 大 差异 ， 使 得 彩色 图 像 拼接 具有 更 大 的 难度 。 以 往 的 彩色 图 像 拼接 
方法 大 多 首先 将 彩色 图 像 变 换 为 灰 度 图 像 ， 然 后 采用 灰 度 图 像 拼 接 的 方法 进行 匹配 计 
算 。 由 于 在 彩色 与 灰 度 图 像 变换 过 程 中 ， 必 然 会 丢失 大 量 有 用 的 颜色 信息 ， 因 此 难以 得 
到 理想 的 拼接 处 理 结果 。 彩 色 图 像 平滑 过 程 中 可 以 通过 对 图 像 的 拼接 颖 做 各 种 颜色 的 过 
渡 处 理 ， 但 由 于 图 像 整体 上 存在 颜色 差异 ， 使 平滑 后 的 图 像 很 难保 证 整体 上 的 颜色 一 致 
性 。” 人 眼 对 于 彩色 具有 较 高 的 敏感 程度 ， 彩 色 图 像 平滑 同样 成 为 图 像 拼 接 中 的 另 一 
个 关键 技术 环节 。 由 于 彩色 图 像 的 数据 量 更 大 ， 如 何 提高 拼接 算法 的 效率 是 需要 特别 考虑 
的 问题 。 

基于 第 4 章 对 RGB 与 HSI 颜 色 空 间 特 性 及 其 变换 特征 的 分 析 和 颜色 相似 性 判断 ， 本 章 
通过 引入 协 方差 矩阵 运算 ， 实 现 彩色 图 像 特征 模板 的 提取 。 通 过 最 小 二 乘法 和 伽 马 校正 方 
法 ， 建 立 两 幅 图 像 之 间 的 亮度 变换 函数 ， 实 现 彩色 图 像 平 滑 计算 。 


5.1 tana 


颜色 空间 是 颜色 的 空间 表达 形式 ， 包 括 多 种 类 型 ， 如 RGB、HSI 和 YUV 等 。' 颜 色 空 
间 把 抽象 的 、 主 观 的 视觉 感受 具体 化 为 三 维 空间 中 的 位 置 或 向 量 ， 使 各 种 彩色 图 像 、 彩 色 
设备 的 颜色 特性 都 能 实现 可 视 化 ， 成 为 颜色 研究 的 重要 工具 。 

由 于 图 像 采 集 和 显示 设备 较 多 使 用 的 是 RGB 颜色 空间 ， 所 以 RGB 颜色 空间 成 为 彩色 
图 像 处 理 中 最 基础 、 最 常用 的 颜色 空间 。 然 而 ，RGB 颜 色 空间 存在 固有 的 缺点 : OPA 
观 ， 即 从 RGB 值 中 很 难看 出 其 所 表示 的 颜色 的 认 知 属性 ，@ 不 均匀 ， 即 两 个 色 点 之 间 的 
距离 不 等 于 两 个 颜色 之 间 的 知觉 差异 ，@ 对 硬件 设备 具有 依赖 性 。 因 此 ，RGB 颜 色 空间 
是 一 个 与 设备 相关 的 、 颜 色 描 述 不 完全 直观 的 空间 。 为 了 克服 RGB 颜色 空间 的 不 均匀 和 
不 直观 的 缺点 ， 在 彩色 图 像 处 理 中 大 多 采用 颜色 空间 变换 方法 ， 将 RGB 颜色 空间 转换 为 
其 他 更 符合 颜色 视觉 特性 的 颜色 空间 ， 再 做 进一步 的 处 理 ， 并 将 处 理 后 的 结果 重新 转换 
为 RGB 颜色 空间 。 颜 色 空 间 的 转换 过 程 需要 进行 大 量 的 计算 ， 对 彩色 图 像 处 理 的 实时 性 
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有 较 大 的 影响 。 

另 一 种 常用 的 颜色 空间 是 HS 颜色 空间 ， 其 中 ，K( 色 调 ) 表 示 一 种 颜色 在 色谱 中 对 应 的 
主 波长 ，S( 饱 和 度 ) 代 表 颜 色 的 纯度 ，ZK( 亮 度 ) 代 表 感 觉 的 均匀 量 。"HSI 颜 色 空间 有 两 个 重 
要 的 特点 : Q@ 亮 度 分量 与 色彩 分 量 是 分 开 的 ，/ 分 量 与 图 像 的 彩色 信息 无 关 ; @H 及 5 分 量 
与 人 感受 彩色 的 方式 紧密 相连 。 从 人 的 心理 视觉 和 生理 视觉 角度 来 看 ，HSI 颜 色 空间 对 于 
颜色 的 描述 显然 更 符合 人 的 视觉 特性 ， 因 此 在 较 多 的 图 像 处 理应 用 中 ， 须 将 RGB 颜色 空间 
转换 为 HIS 颜 色 空间 表达 后 再 进行 处 理 ， 以 得 到 更 佳 的 彩色 图 像 处 理 效果 。 

HSJ 颜 色 空间 与 RGB 颜色 空间 可 以 通过 公式 (4-1D)、 公 式 (4-12)、 公 式 (4-13) 实 现 转换 P， 
如 果 两 种 颜色 的 RGB 值 0，g， 甩 (0"，g&， 四 大 小 均 以 及 倍 比例 发 生变 化 ， 即 


p.m B. 
rog b * 6-1) 
则 它们 的 色 度 和 饱和 度 值 是 相等 的 ， 但 亮度 值 将 为 K 倍 关系 。 这 是 在 进行 RGB 与 HSI 
颜色 空间 变换 过 程 中 表现 出 的 一 个 重要 特征 ， 根 据 这 个 特征 可 以 进一步 提出 用 于 彩色 图 像 


拼接 的 匹配 计算 的 新 方法 。 


5.2 色差 计算 
在 满足 等 式 (5-1) 的 条 件 下 ， 可 以 得 到 以 下 三 个 等 式 
r*g= g*r (5-2) 
r*b'=b*r (5-3) 
b*g'- g*b' (5-4) 


上 述 三 个 等 式 中 ， 只 要 有 两 个 等 式 成 立 ， 则 另外 一 个 等 式 一 定 成 立 。 考 虑 到 计算 量 ， 

可 以 给 出 以 下 颜色 色差 度量 公式 
| (5-5) 
En -|b*g'-g*b'| (65-6) 
在 Es 和 Es 均 较 小 的 条 件 下 ， 可 判定 两 种 颜色 的 色 度 和 饱和 度 是 近似 相等 的 。 由 于 色 
度 、 饱 和 度 和 亮度 三 个 颜色 分 量 中 ， 色 度 和 饱和 度 决定 了 颜色 的 主要 类 别 ， 可 取 以 上 两 项 


102 | 无 人 机 航空 况 感 图 像 拼接 技 术 研 究 


的 和 值 作为 度量 两 种 颜色 色差 大 小 的 变量 。 
E-E KE, 6-7) 


5.3 ”彩色 图 像 匹配 


5.8.1. 特征 模板 提取 


图 像 拼 接 要 求 待 拼接 的 相 邻 两 幅 图 像 边界 必须 存在 重合 区 域 ， 重 有 谷 区 域 具 有 相同 的 景 
物 内 容 。 特 征 模板 是 指 在 一 幅 图 像 的 重 倒 区 域 中 搜索 到 的 、 可 进行 有 效 图 像 匹 配 计算 的 图 
像 区 域 。 一 般 来 说 ， 图 像 模板 的 选择 要 满足 两 个 原则 : 选择 特征 模板 的 尺寸 不 宜 过 大 ， 尽 
管 大 尺寸 的 特征 模板 可 提高 匹配 计算 的 精度 ， 但 会 使 匹配 过 程 所 需 的 计算 量 急剧 增加 ， 另 
外 ， 要 求 特征 模板 中 的 图 像 灰 度 或 颜色 信息 较为 丰富 ， 以 保证 匹配 计算 的 准确 性 。 因 此 ， 
特征 模板 的 选择 在 图 像 匹 配 计算 中 很 重要 。 对 于 彩色 图 像 来 说 ， 合 理 的 特征 模板 所 在 的 图 
像 区域 应 包含 更 多 类 别 的 颜色 ， 具 有 更 多 的 图 像 纹理 或 边缘 。 有 具体 来 说 ， 要 求 特 征 模板 中 
的 像素 颜色 在 RGB 颜色 空间 内 较 离散 地 分 布 ， 颜 色 与 颜色 之 间 具 有 较 小 的 相关 性 。 为 了 在 
图 像 重 县 区 域 中 ， 搜 索 到 颜色 分 布 合理 的 特征 模板 ， 这 里 引入 多 维 数据 的 数字 特征 分 析 及 
相关 矩阵 计算 ， 以 实现 有 效 的 后 续 匹 配 运算 。 

4G, X X3) 为 从 彩色 图 像 模板 区 域 中 所 获取 的 RGB 颜色 空间 表示 的 三 维 样本 数据 
RE: (Qe Xo Xu) Oo Xe X) S OG Xue X4) } 这 里 的 n 表 示 颜 色 样本 的 
个 数 ， 即 特征 模板 图 像 区 域 中 像素 的 个 数 。 记 各 组 颜色 样本 数据 为 

XP Xar xg) Fl, 2. tmn (5-8) 

其 中 ， 马 代表 样本 数据 的 R 颜 色 分 量 矢 量 ， 马 代表 样本 数据 的 G 颜 色 分 量 矢 量 ， 马 代表 样本 
数据 的 B 颜 色 分 量 矢量 。 引 进 ”x3 颜 色 样 本 数据 观测 矩阵 为 


Xu Xe Xn x 
Xa Xn Xs| |x 


Xs al 6-9) 
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了 的 3 个 列 分 别 是 3 个 矢量 页 、 互 、 互 的 "个 观测 数据 。 其 中 ， 第 / 列 数据 的 均值 为 





x-lYws js 3d (5-10) 
第 7 列 数据 的 方差 为 
第 、f 列 数据 的 协 方差 为 
$= h E, 2,3 (5-12) 
=i jsl 
并 且 有 
S=Sp fF1, 2, 3 (5-13) 
PE x 25) AERE BAS E HR. 
Su S$n Ss 
S=|sn sn S» (5-14) 
Sa S2 S3 








MSA ERRAR EEE. BG OIRE RRE 


mo A FA. 2, 3 (5-15) 
其 中 , pb pm. 令 
1 Pa D, 
PaRi b A (5-16) 
P, Pa 1 








表示 观测 数据 的 Pearson 相 关 和 矩阵 。 相 关 和 矩阵 P 表 示 变 量 观测 值 之 间 线 性 相关 的 密切 程 
度 。 由 于 矩阵 元 素 的 对 称 性 ， 这 里 只 需 考虑 相关 和 矩阵 P 的 下 三 角 失 阵 元 素 。 为 了 确定 采样 
得 到 的 彩色 图 像 特 征 模板 是 否 具有 丰富 的 像素 颜色 数据 分 布 状态 ， 可 采用 
EP, Xp Pa 6-17) 
来 确定 ，4 值 越 小 ， 表 示 颜 色 样 本 空间 具有 各 个 像素 的 颜色 向 量 的 相关 性 越 小 ， 相 应 
地 ， 颜 色 的 色 度 和 饱和 度 差 异 越 大 ， 因 此 更 适合 选 作 特征 模板 。 一 般 情 况 下 ， 图 像 中 灰 度 
或 颜色 变化 具有 相似 性 ， 为 提高 特征 模板 的 搜索 速度 ， 减 少 计算 量 ， 在 特征 模板 搜索 过 程 
中 ， 可 采用 跳跃 式 搜索 方式 来 得 到 最 佳 的 图 像 特征 模板 。 
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5.3.2 ”匹配 搜索 策略 


以 特征 模板 为 基准 ， 在 待 拼接 的 图 像 重 又 区 域 中 ， 采 用 本 书 5.2 节 中 提出 的 颜色 色差 
度量 方法 进行 匹配 计算 ， 记 录 所 有 匹配 位 置 处 的 模板 总 体 颜色 相似 度量 数值 ， 取 其 中 最 小 
的 匹配 位 置 为 最 佳 匹 配 位 置 ， 具 体 计 算 过 程 如 下 所 述 。 

设 待 拼接 的 两 幅 图 像 为 和 了 ,， 两 幅 图 像 的 重合 区 域 分 别 设 为 0, 和 0O,。 在 图 像 区 域 0， 
中 ， 根 据 上 文 提出 的 特征 模板 提取 方法 ， 搜 索 得 到 特征 模板 T， 其 尺寸 大 小 为 MxN。 在 图 
像 区 域 0, 中 ， 按 从 上 到 下 、 从 左 到 右 的 顺序 ， 移 动 特征 模板 T， 与 具有 相同 尺寸 大 小 的 图 
像 区 域 7 进行 匹配 计算 ， 得 到 

sum(m, 2-XYB. D (5-18) 

ERRARE, BOR URL BLRCR FAEERE DC PEDRO RR E 

匹配 位 置 
(my, no)=min[sum(a, 5), (a, 5)€O, (5-19) 


54 彩色 图 像 平滑 


由 于 人 了 眼 对 于 彩色 信息 更 为 敏感 ， 彩 色 图 像 拼 接 中 拼接 颖 或 图 像 整体 颜色 的 不 协调 将 
使 图 像 的 视觉 效果 受到 影响 ， 因 此 彩色 图 像 拼 接 中 图 像 颜色 平滑 的 问题 更 为 突出 。 常 用 的 
图 像 颜色 平滑 方法 包括 基于 图 像 直 方 图 、 基 于 图 像 信息 人 、 基 于 相 邻 图 像 方差 、 均 值 的 色 
调调 整 方 法 等 。 这 些 方法 都 是 以 相 邻 图 像 之 间 的 重合 区 域 或 相 邻 图 像 之 间 拼接 缝 为 基础 ， 
通过 颜色 的 平滑 过 渡 来 消除 人 为 的 假 边 缘 和 拼接 颖 。 在 相 邻 图 像 重合 区 域 较 大 的 情况 下 ， 
对 于 两 幅 相 邻 图 像 拼 接 颖 的 消除 都 有 一 定 的 效果 ， 但 无 法 真正 消除 大 幅面 图 像 的 颜色 差 
异 。 从 根本 上 解决 这 类 问题 的 方法 应 是 以 一 幅 图 像 为 基准 ， 通 过 建立 序列 图 像 之 间 的 颜色 
变换 关系 ， 从 全 局 调整 其 他 整 幅 图 像 的 颜色 分 布 ， 使 合成 的 大 幅面 图 像 的 颜色 协调 一 致 。 
前 述 的 匹配 运算 是 以 色 度 和 饱和 度 为 标准 来 实现 的 ， 可 保证 匹配 后 的 两 幅 图 像 所 对 应 的 像 
素 色 度 和 饱和 度 的 一 致 性 ， 但 无 法 保证 其 亮度 的 一 致 性 ， 因 此 需要 对 在 亮度 上 可 能 存在 的 
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差异 进行 调整 ， 从 而 实现 两 幅 图 像 颜色 的 一 致 性 。 本 书 将 以 最 小 二 乘法 为 数学 工具 ， 通 过 
引入 伽 马 校 正 ， 建 立 图 像 之 间 的 亮度 变换 函数 ， 实 现 图 像 的 亮度 平滑 。 


5.4.1. 伽 马 校正 方法 


图 像 增 强 处 理 中 ， 守 次 变换 是 根据 宕 次 规律 对 图 像 亮度 进行 调整 ， 从 而 得 到 新 的 响应 
输出 。 究 次 变换 在 图 像 获取 、 打 印 和 显示 的 各 种 装置 中 得 到 了 较 好 的 应 用 。 客 次 变换 的 基 
本 形式 为 

ye (5-20) 
其 中 和) 为 正 的 常数 。 

作为 x 的 函数 ，y 对 于 y 的 各 种 值 绘制 的 曲线 ， 如 图 5-1 所 示 (8=1，y 值 从 上 到 下 依次 
为 : 0.04，0.10，0.20，0.40，0.67，1，1.5，2.5，5.0，10.0，25.0)。 从 图 5-1 可 以 看 
Wi, BERE 值 的 变化 将 得 到 一 组 变换 曲线 。 通 过 ; 值 把 输入 窄带 暗 值 映射 到 宽 待 输出 值 。 
相反 ， 输 入 高 值 时 也 成 立 ，y>1 的 值 和 y<1 的 值 产生 的 曲线 有 相反 的 数值 效果 。 习 惯 上 ， 
将 蝴 次 变换 中 的 指数 称 为 伽 马 值 ， 而 把 修正 肾 次 函数 响应 现象 的 过 程 称 为 伽 马 校正 。 

1 


0.9 











0 Ql 02 03 04 05 06 07 
输入 亮度 值 x 


图 5-1 EXER ERAS, 
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5.4. ”亮度 变换 函数 


在 两 幅 图 像 之 间 的 亮度 存在 差异 的 情况 下 ， 可 通过 最 小 二 乘法 确定 两 幅 图 像 亮度 之 间 
的 震 次 变换 关系 ， 实 现 伽 马 校 正 。 伽 马 校 正 的 数学 表达 形式 与 公式 (5-20) 不 同 ， 但 可 通过 
数学 变换 得 到 ， 以 方便 运算 ， 其 变换 过 程 如 下 所 述 。 

对 等 式 (5-20) 两 端 分 别 取 对 数 ， 得 到 等 式 


In()-In(f)*-yln() (5-21) 

引入 变量 变换 为 
Y-Inp), X-In(x), B-In(f), 4—y (5222) 

形成 线性 关系 式 
Y-AX-B (523) 


TEXKERT &1HQOG Y)REEFEUS. BDARUAXXQG-2OCRATATUB, Wn RES 
PB 值 可 用 下 式 计算 
FA, FF (5-24) 
从 而 可 以 得 到 公式 (5-20) 所 示 的 两 幅 图 像 之 间 的 亮度 变换 函数 关系 ， 即 伽 马 校正 关系 。 


5.4.8 平滑 计算 


在 两 幅 图 像 的 重 秋 区域 内， 按 从 上 到 下 、 从 左 到 右 的 顺序 获取 N 个 小 的 图 像 区 域 (大 小 
均 为 KxL) 的 亮度 平均 值 ， 令 在 第 一 幅 图 像 重 双 区域 中 所 获取 的 平均 值 为 y(?)， 直 1，2，3… 
N， 在 第 二 幅 图 像 中 所 获取 的 图 像 平均 值 为 x( 让 二 1，2，3…N。{(w， 功 )} 包 是 了 平面 上 
的 N 个 点 的 数据 集合 ， 通 过 引入 式 (5-22) 的 变量 代 换 ， 数 据 线性 化 变换 为 27 平面 上 的 点 集 
( 瑟 ， 加 。 可 根据 式 (5-20) 计 算 相应 的 4 值 和 3 值 ， 根 据 式 (5-24) 计 算得 到 最 终 的 亮度 变换 函 
数 相 应 的 y 值 和 p 值 。 

在 获得 两 幅 图 像 之 间 的 亮度 变换 函数 之 后 ， 可 对 第 二 幅 图 像 的 亮度 进行 变换 ， 使 亮度 
数值 与 第 一 幅 图 像 的 亮度 数值 保持 一 致 。 具 体 调整 时 需要 对 像素 颜色 的 各 个 分 量 数值 分 别 
进行 调整 。 设 变换 前 的 像素 颜色 值 为 (，g，B)， 变 换 后 的 像素 颜色 值 为 0"，g'，58”)， 则 

(r^ g, by. Bg. Bb) (5-25) 

实际 应 用 中 ， 可 按 比 例 调整 RGB 各 颜色 分 量 数值 ， 也 可 考虑 针对 各 个 颜色 通道 建立 变 

换 函数 并 分 别 调整 。 
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5.5 “实验 结果 与 分 析 


对 航空 拍摄 得 到 的 两 幅 彩 色 图 像 进行 拼接 计算 ， 图 像 大 小 为 600x800， 如 图 5-2、 图 
5-3 所 示 。 从 视觉 上 可 以 明显 看 出 两 幅 图 像 之 间 在 亮度 上 存在 差异 。 采 用 本 书 5.3 节 中 所 提 
出 的 特征 模板 选择 方法 ， 获 得 特征 模板 图 像 ， 如 图 5-4 所 示 。 采 用 本 书 提出 的 图 像 匹 配 计 
算 方法 ， 搜 索 得 到 的 匹配 图 像 ， 如 图 5-5 所 示 。 匹 配 后 不 进行 亮度 平滑 计算 得 到 的 拼接 图 
像 ， 如 图 5-6 所 示 。 采 用 小 波 金字 塔 算法 的 图 像 平 滑 结果 ， 如 图 $-7 所 示 。 采 用 本 书 所 提出 
的 方法 进行 全 局 亮度 计算 ， 得 到 平滑 后 的 图 像 ， 如 图 5-8 所 示 。 平 滑 计算 中 ， 在 两 幅 图 像 
重合 区 域 采样 得 到 12 组 亮度 区 域 均值 数据 ， 如 表 5-1 所 示 。 通 过 最 小 二 乘法 计算 得 到 的 件 
马 校 正 参 数 分 别 为 : y=0.356，p=0.95。 





ul li 
图 5-2 第 1 幅 图 像 





En -— a 
图 5-4 ”特征 模板 图 像 图 5-5 ”匹配 搜索 到 的 图 像 
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图 5-8 采 








本 书 所 提出 方法 的 图 像 拼接 
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ii 


表 5-1 重合 图 像 区 域内 采样 的 亮度 均值 
第 1 幅 


g 2 a 4 5 6 7 8 9 10 12 
115.55] 56.81 | 79.77 | 81.37 | 86.08 | 81.33 | 78.98 | 89.58 [130.53 | 87.91 | 94.85 | 158.36 
第 2 幅 | 165.42 | 63.29 | 99.78 | 103.99 | 111.97 | 113.49 | 92.16 | 113.65 | 202.43 | 113.98 | 122.36 | 249.10 


针对 野外 ， 特 别 是 水 域 、 大 面积 种 植 区 等 特征 不 明显 的 区 域 ， 使 用 本 书 提出 的 基于 匹 


配 以 及 图 像 平滑 的 方法 ， 也 能 得 到 较 好 的 拼接 效果 。 
连续 5 幅 序列 图 像 、 直 接 拼接 后 图 像 、 使 用 本 书 方 法 拼接 后 的 图 像 ， 如 图 5-9、 


5-10、 图 5-11 所 示 。 















图 5-9 连续 5 幅 序 列 图 像 (600x800) 





图 $-10 直接 拼接 后 图 像 





图 5-11 使 用 本 书 方法 拼接 后 的 图 像 
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5.6 ”结论 


本 章 基 于 对 RGB 与 HSI 颜 色 空间 的 特性 分 析 ， 提 出 一 种 根据 颜色 的 色 度 和 饱和 度 特征 
来 度量 像素 颜色 相似 性 的 方法 ， 同 时 提出 了 一 种 用 于 彩色 图 像 匹配 的 特征 模板 提取 方法 。 
通过 待 拼接 的 两 幅 彩 色 图 像 之 间 的 重 登 区 域 亮度 关系 分 析 ， 建 立 了 图 像 之 间 的 亮度 变化 函 
数 ， 全 局 化 地 调整 两 幅 图 像 之 间 的 颜色 差异 ， 消 除 拼接 缝 ， 增 强 视觉 效果 。 实 验 结果 表 
明 ， 本 书 所 提出 的 方法 算法 简单 ， 计 算 效 率 以 及 鲁 棒 性 均 较 好 ， 对 亮度 存在 差异 的 序列 图 
像 具 有 较 好 的 拼接 效果 。 


第 6 章 
图 像 特 征 提取 








112 | 无 人 机 航空 况 感 图 像 拼接 技 术 研 究 


特征 提取 是 目标 跟踪 中 非常 重要 的 一 个 环节 ， 伴 随 着 分 类 器 的 训练 和 识别 的 全 过 程 ， 
在 分 类 器 的 训练 中 起 到 至 关 重 要 的 作用 ， 直 接 影响 最 终 的 跟踪 效果 及 整个 系统 的 性 能 。 目 
标 信息 获取 越 多 ， 则 目标 外 观 表达 越 准确 ， 跟 踪 效 果 越 好 ， 但 同时 计算 复杂 度 就 越 高 ， 所 
需 的 处 理 时 间 也 相应 越 长 ， 使 算法 的 实时 性 得 不 到 保证 。 研 究 者 希望 选择 折 中 目标 描述 信 
息 中 易于 区 分 且 数 据 量 小 的 特征 信息 ， 这 个 过 程 就 是 特征 提取 。 


6.1 图 像 特征 


由 于 在 基于 分 类 学 习 的 目标 跟踪 算法 中 ， 训 练 分 类 器 的 过 程 复杂 ， 所 以 对 于 目标 特征 
的 选择 就 有 更 高 的 要 求 。 如 果 特 征 的 数据 量 较 大 ， 跟 踪 算 法 无 法 保证 过 程 的 实时 性 ， 如 果 
特征 的 数据 量 太 小 ， 目 标 信息 量 较 少 ， 将 难以 准确 区 分 目标 与 非 目 标 。 所 以 ， 基 于 分 类 学 
习 的 目标 跟踪 一 般 不 选择 较 直 观 的 整体 特征 ， 而 偏向 于 由 基本 特征 进行 局 部 特征 统计 ， 使 
特征 描述 子 更 易于 区 分 且 计 算 量 较 小 。 这 些 特征 有 其 各 自 的 特点 和 应 用 场合 。 下 面 介绍 几 
种 目标 检测 中 常用 的 图 像 特 征 。 


6.1.1 LBP 特 征 


Ojala 等 人 ?55 提出 的 局 部 二 进 制 模式 (Local Binary Patterm，LBP)， 其 显著 优点 在 于 
运算 简单 且 具 有 旋转 不 变性 和 灰 度 不 变性 ， 被 广泛 应 用 到 图 像 分 类 与 检索 等 问题 中 。5 
目前 ，LBP 算 子 能 有 效 描述 图 像 纹理 ， 在 指纹 识别 、 人 脸 识 别 等 领域 都 已 得 到 成 功 应 用 。 
LBP 主 要 是 针对 灰 度 图 像 而 言 ， 它 统计 一 幅 图 像 中 每 一 个 像素 与 周围 邻 域内 像素 的 对 比 关 
系 ， 因 此 LBP 对 光照 变化 不 敏感 ， 但 容易 受到 噪声 的 影响 。 

LBP 算 子 的 最 初 定义 是 在 3x3 的 窗口 中 ， 将 中 心 单元 格 像 素 值 设 定 为 阀 值 ， 并 将 该 像 
素 值 与 周围 相 邻 的 8 个 像素 值 相 比较 ， 将 周围 像素 值 相对 阔 值 大 的 点 设 为 1， 反 之 为 0。 经 
过 一 轮 比较 ， 按 顺 时 针 获 取 中 心 像素 8 邻 域 生 成 的 8 位 二 进 制 数 ， 将 二 进 制 数 转换 为 十 进 制 
数值 ， 该 值 就 是 窗口 中 心 点 的 LBP 值 ， 如 图 6-1 所 示 。 
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LBP 值 =(01111011)io=123 
图 6-1 LBP 特 征 


LBP 算 子 被 提出 来 后 ， 研 究 者 对 该 算 子 做 了 进一步 的 优化 与 改进 ， 提 出 了 圆 形 LBP 算 
子 、LBP 旋 转 不 变 模式 、LBP 等 价 模式 。 

1. 圆 形 LBP 算 子 

最 初 LBP 算 子 的 适用 范围 仅 是 一 个 具有 固定 半径 的 小 区 域 ， 显 然 ， 该 算 子 不 能 满 
足 不 同 尺 寸 、 不 同 频率 的 纹理 的 需求 。 为 了 克服 这 一 缺点 ，Ojala 等 对 LBP 算 子 做 了 进 
一 步 研究 ， 将 原始 窗口 扩大 到 一 个 以 R 为 半径 、 周 围 有 P 个 邻 域 点 均匀 分 布 的 更 大 的 区 
域 上 。 该 LBP 算 子 用 LBP。 x 表示 ， 常 见 的 LBP 算 子 有 LBPs,、LBPs，,、LBPs3， 如 图 6-2 
所 示 。 








图 6-2 常见 的 LBP 算 子 


假设 ，g. 为 中 心 点 像素 值 ， 以 该 点 为 圆心 、RCR>0) 为 半径 的 圆 上 ， 均 匀 分 布 PCP>1) 个 
相 邻 点 ， 像 素 值 分 别 设 为 8。 g,，…，gym。LBP 算 子 会 将 g. 与 圆周 上 的 P 个 点 的 像素 值 相 
比较 ， 按 顺 时 针 得 到 8 位 二 进 制 串 ， 最 后 将 二 进 制 串 转 为 十 进 制 数值 ， 该 数值 就 是 中 心 像 
素 点 的 LBP 值 。 


" 
LBP,,- 7s(gr - g.2" (6-1) 
P=0 
这 里 


1 xz0 
s(x)- Ò mei (6-2) 
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同 理 ， 对 整 幅 图 像 的 每 个 像素 点 ， 应 用 上 述 方法 都 可 得 到 相应 的 LBP 值 。 最 后 利用 
直方 图 对 整 幅 图 的 所 有 像素 点 的 LBP 值 进行 统计 并 得 出 统计 向 量 ， 该 向 量 就 是 整 幅 图 像 的 
LBP 特 征 。 我 们 可 以 看 到 LBP 特 征 是 基于 像素 差 值 的 统计 ， 所 以 LBP 特 征 对 于 灰 度 单调 变 
化 的 图 像 具 有 很 好 的 鲁 棒 性 ， 同 时 具有 平移 不 变性 。"”” 

2. LBP 旋 转 不 变 模式 

从 以 上 理论 很 容易 得 知 ，LBP 算 子 的 像素 值 是 固定 值 ， 具 有 灰 度 不 变性 ， 但 一 旦 图 像 
稍微 旋转 ，LBP 值 就 会 发 生 改变 ， 所 以 LBP 算 子 不 具有 旋转 不 变性 。 为 了 克服 这 个 问题 ， 
研究 者 将 LBP 算 子 进行 了 改进 ， 他 们 对 圆 形 邻 域 做 多 次 旋转 ， 相 应 地 会 得 到 多 个 LBP 值 ， 
将 最 小 值 作为 该 邻 域 的 LBP 值 。 采 用 该 方法 得 到 的 局 部 二 值 模式 就 是 旋转 不 变 LBP 算 子 。 

图 6-3 描 述 了 旋转 不 变 LBP 值 的 获取 过 程 。 每 个 算 子 图 下 面 都 有 其 LBP 值 与 之 对 应 。 图 
6-3 给 出 的 8 种 模式 都 是 经 过 不 同 的 旋转 得 到 的 ， 我 们 最 终 选 取 最 小 值 15 作 为 旋转 不 变性 的 
LBP 值 ， 其 对 应 模式 为 00001111。 


olo 
o 25 
eee 
e 0 
die 
ofo e?o e?o ee ee o*e o? e 
e oe oe oe oo eo eo e 
e, * *,0 euo OQO ODO oue O,e 
240 120 60 30 15 135 195 


图 6-3 ”旋转 不 变 的 LBP 示 意图 


3. LBP 等 价 模式 

对 于 以 R 为 半径 且 具 有 P 个 采样 点 的 圆 形 区 域 ， 会 有 2" 种 二 值 模式 与 LBP 算 子 相 对 应 。 
如 果 P 值 增加 ，LBP 算 子 所 对 应 的 二 值 模式 种 类 也 会 增加 。 对 这 么 多 模式 进行 纹理 提取 与 
分 类 是 非常 困难 的 ， 而 且 过 多 的 匈 余 信 息 也 会 对 纹理 的 表达 有 很 大 的 影响 。 因 此 ， 解 决 此 
问题 的 最 好 办 法 是 在 保证 图 像 特 征 信息 的 同时 ， 通 过 降 维 来 减少 LBP 算 子 的 模式 种 类 。 

研究 者 为 了 减少 数据 量 ， 对 LBP 模 式 进行 改进 优化 。 在 实际 应 用 中 ，LBP 模 式 通 常 最 
多 只 有 两 次 0，1 间 的 跳 变 。 因 此 ， 定 义 “ 等 价 模式 ”: 如 果菜 个 LBP 对 应 的 循环 二 进 制 数 
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最 多 只 有 两 次 9，1 间 的 跳 变 ， 则 该 二 进 制 模式 就 被 称 为 等 价 模式 类 。 除 等 价 模式 类 以 外 的 
其 他 模式 都 统一 称 为 混合 模式 类 。 我 们 用 U 表 示 P 个 采样 点 生成 的 二 进 制 串 中 0/1 和 1/0 跳 变 
的 次 数 。 


U(LSB, #)=|s(g, 1 -8.)-s( s) sle, -2.)- se, - e.) (6-3) 


我 们 只 需要 统计 跳 变 次 数 小 于 或 等 于 2 情形 下 的 U 值 所 对 应 的 LBP 值 ， 其 他 都 属于 男 一 类 。 


pa 


Lpp=tm_ /2s(e, -8.)2” U(LSB, ,)«2 
^t fa otherwise 
通过 以 上 方法 ， 我 们 可 以 大 大 降低 二 值 模式 的 种 类 ， 并 且 对 信息 量 无 任何 影响 。 对 于 
P 个 采样 点 的 情况 ， 二 值 模式 的 数量 由 原来 的 2 降 为 PPDD+2。 
另外 ， 将 旋转 不 变 LBP 与 等 价 LBP 结 合 起 来 便 得 到 旋转 不 变 等 价 LBP 模 式 (Rotation 
Invariance Uniform LBP)， 其 含有 的 模式 个 数 为 P+1， 如 图 6-4 所 示 。 该 方法 达到 了 对 特征 
向 量 降 维 的 目的 ， 同 时 也 可 有 效 抑制 高 频 噪声 。 


(6-4) 


ofo e*?*e 
roo oe e 
9gOo T 等 价 模式 (P=8) 
ooo oe o?e ee ee ee ee 
U20 eo eo eo ee ee ee e 
Ol OgO OgO OgO OgO egO e,0 
o*o o*o 6*6 
IF4 O e U= oè e U8e e ” 非 等 价 模式 (P=8) 
ooo gO 9e. 


图 6-4 LBP 算 子 等 价 模式 和 非 等 价 模式 


6.1.2 ”Haar-like 特 征 


在 计算 机 视觉 领域 中 ， 经 常用 Haar-like 特 征 算 子 来 描述 目标 的 特征 。 它 最 早 是 由 
Papageorgiou" 等 人 提出 用 于 人 脸 描 述 ， 后 来 扩展 到 目标 识别 领域 的 各 种 方法 中 。 但 
Haar-like 特 征 的 最 大 缺点 是 计算 复杂 。 

Haar-like 特 征 主要 有 线性 特征 、 边 缘 特 征 、 点 特征 (中 心 特征 ) 三 种 常用 的 类 型 ， 如 
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图 6-5 所 示 。 





1. Edge Features 


eo 


2 


3 


(a) (b) © (d) 


. Line Features 


Ti -E KA A 





(a) (b) © (d) (e) (f) (p W 


. Center-Surround Features 


[m| 


(a) (b) 
图 6-5 三 种 Haarlike 特 征 类 型 


显然 ， 它 包含 4 种 边缘 特征 ， 即 x 方向 、y 方 向 、x 倾 斜 方向 、y 倾 斜 方向 ，8 种 线 特征 ; 
两 种 点 特征 。 但 在 使 用 Haar-like 特 征 时 ， 我 们 一 般 常 选 a、b、c、d4 种 类 型 ， 它 的 优点 在 于 


计算 量 相 对 较 小 


， 如 图 6-6 所 示 。 


= i= 


图 6-6 4 种 常用 的 Haar-like 特 征 


计算 特征 值 时 ， 黑 色 区 的 权 值 设 为 负 ， 白 色 区 的 权 值 设 为 正 。 因 此 ，a、b 类 型 的 特征 


值 计 算 公式 为 





V=Sum Sumy (6-5) 


后 两 种 类 型 的 特征 值 计算 公式 为 


大 SumaD2*Sumg (6-6) 


式 (6-6) 中 黑色 区 域 像素 乘 以 2， 其 目的 在 于 使 黑白 两 个 区 域 的 像素 个 数 保持 一 致 。P9 
Haar-like 特 征用 于 检测 的 原理 如 下 : 
将 上 述 方法 应 用 到 人 脸 检测 中 ， 我 们 在 上 述 4 种 矩形 中 任 选 一 种 与 人 脸 区 域 相 匹 配 ， 


求 白色 区 与 黑色 


区 的 像素 和 之 差 ， 该 差 值 就 是 人 脸 特 征 值 。 把 该 矩形 用 来 与 非 人 脸 区 域 相 





匹配 ， 并 求 其 特征 值 ， 那 么 该 值 与 人 脸 特征 值 会 有 很 大 的 差别 。 我 们 希望 相差 越 大 越 理 
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想 。 在 上 述 求解 过 程 中 ， 和 拢 形 块 把 人 脸 特 征 进行 量化 ， 根 据 特征 值 来 确定 该 区 域 是 否 为 人 
脸 ， 并 进行 人 脸 识别 。 


6.41.3 SIFT 特征 


尺度 不 变 特征 变换 (Scale Invariant Feature Transformation，SIFT) 特 征 ， 是 由 Loweg5 提 
出 的 一 种 提取 局 部 特征 的 算法 。SIFT 特 征 是 在 多 尺度 空间 分 析 下 进行 特征 检测 ， 然 后 形成 
特征 描述 符 ， 以 达到 对 尺度 缩放 、 旋 转变 换 、 放 射 变换 ， 具 有 不 变性 。 如 今 ， 该 算法 已 成 
功 应 用 于 图 像 匹配 和 图 像 拼 接 领 域 中 。 

下 面 对 SIFT 算 法 的 4 个 主要 步骤 进行 介绍 。 

1. 尺度 空间 极 值 点 检测 

设 一 幅 二 维 图 像 Xx，?7)， 它 与 高 斯 核 卷 积 可 以 得 到 不 同 尺度 下 的 尺度 空间 

L(x » o)= G(x, y, o)* I(x y) (6-7) 


其 中 ， G(x, y, 中 是 高 斯 函数 ， 定义 为 G(x， y a)= — QU 


为 了 得 到 稳定 特征 点 并 使 特征 点 具有 尺度 不 变性 ， 我 们 需要 在 图 像 的 二 维 平面 空间 和 
高 斯 差分 Difference of Gaussian，DoG) 尺 度 空 间 中 同时 检测 局 部 的 极 值 点 。 于 是 ，DoG 算 
子 的 定义 为 

D(x, y, [Gx y, ko)-G(x, y» lx, y) 
=L(x, y, ko)-L(x, y, o) 

在 DoG 尺 度 空间 中 检测 极 值 的 时 候 ， 对 DoG 图 像 中 的 点 与 其 邻 域 的 相 邻 点 相 比 较 ， 包 
括 自身 8 邻 域 和 相 邻 上 下 尺度 层 图 像 对 应 的 9 邻 域 相 比 较 ， 如 图 6-7 所 示 。 若 该 点 为 极 值 ， 
则 将 其 选 为 特征 点 。 


(6-8) 





图 6-7 DoG 尺 度 空间 极 值 点 检测 
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2. 特征 点 的 定位 

由 于 DoG 算 子 会 产生 较 强 的 边缘 响应 ， 因 此 特征 点 定位 就 是 要 去 除 极 值 点 中 对 噪声 敏 
感 的 点 或 者 不 稳定 的 边缘 响应 点 。 我 们 采用 具体 方法 对 空间 尺度 函数 D(x，y，o) 进 行 泰勒 
展开 ， 可 得 到 精确 的 特征 点 位 置 和 尺度 ， 并 且 还 可 以 滤 除 低 对 比 度 的 特征 点 。 高 斯 差分 函 
数 D(，y，o) 在 局 部 极 值 点 DGo。，y。，o) 处 的 泰勒 展开 式 为 








D(x, y, e)2 D(xy 9». eec t (6-9) 
对 公式 (6-9) 求 导 并 令 其 为 零 ， 最 终 求 得 的 x 值 就 是 精确 位 置 ， 如 公式 (6-10) 所 示 。 
&DY oD 
-eje - 


HAS ERE RIRE 790.03, WRD) 20.03 TU HZCREHGE 46 CREER, 8 DU A ISFDCER R 
为 低 对 比 度 点 ， 给 予 丢 弃 。 
对 于 一 个 不 理想 的 高 斯 差分 算 子 ， 极 值 处 的 曲率 随 方向 的 不 同 变化 很 大 ， 如 横 跨 边缘 
的 方向 值 很 大 ， 在 垂直 边缘 的 方向 值 却 非常 小 。 我 们 可 以 通过 2x2 的 Hession 矩 阵 计算 主 曲 
率 值 来 去 掉 不 稳定 的 边缘 点 ， 即 
a "i (6-11) 














B. B. 

KADHI E H CRETAE NRIE E, rr UA RT fci HessiontE FE fS £X T, (HD) 047 9 5X, 
Det(H)B HEE, HERE REBARA. KREAKE USA, SU NBSP REGETR 
Ay, W 

T(H)-D, 4D, -ÀA*y 
Det(H)= DD, - (D, J - Ay 
Sasu, BMAF, DU] 
LY Qtr} aD (Quy 
De(H) Ay Ay! Hu 
当 人 =r 时 ，(u+1) 人 的 值 最 小 ， 并 且 当 / 增 大 时 ，CW+D 也 会 随 之 增 大 。 因 此 ， 我 们 只 
T (Hf 


gia UD. Lr aas, BUS En 3 i SR ut SR 
et(H) xu 


(6-12) 


(6-13) 





第 6 章 图 像 特征 提取 | 119 











3. 特征 点 方向 的 确定 
特征 点 邻 域 像素 的 梯度 方向 分 布 决定 了 该 点 的 方向 ， 因 此 ，SIFT 算 子 对 图 像 的 旋转 具有 
不 变性 。 特 征 点 Ge， 蕊 处 梯度 的 大 小 和 方向 的 计算 公式 为 

















dœ, y)- Gen， 3X-LG-1, yo, »*D-LG, y-Dpr (6-14) 
(x, y)earctan|LG, yH), y- DL y-a- y)] (6-15) 
Z 代 表 每 个 特征 点 所 在 的 尺度 。 


4. SIFT 特 征 向 量 的 生成 

首先 ， 旋 转 坐 标 轴 方 向 ， 使 之 与 特征 点 方向 一 致 ， 确 保 图 像 具 有 旋转 不 变性 。 其 次 ， 
以 特征 点 为 中 心 取 164x416 个 网 格 窗口 ， 并 分 割 成 16 个 4x4 子 网 格 区 域 ， 每 个 子 网 格 都 被 称 
为 一 个 种 子 点 。 对 于 每 个 子 网 格 区域 ， 我 们 都 需要 计算 8 个 梯度 方向 和 梯度 模 值 ， 并 进行 
梯度 直方 图 统计 和 归 一 化 处 理 。 一 个 子 块 总 共 可 以 得 到 164x48=128 个 方向 的 描述 符 ， 这 个 
长 度 为 128 的 一 维 向 量 被 定义 为 SIFT 特 征 向 量 。 最 后 ， 对 得 到 的 最 终 特 征 向 量 进行 归 一 化 
操作 ， 就 可 以 获取 SIFT 特 征 描述 子 ， 具 体 的 形成 过 程 如 图 6-8 所 示 。 





























-ely 


(a) 梯度 计算 (b) 种 子 生成 (c) 梯度 统计 














图 6-8 SIFT 特 征 形成 过 程 





6.1.4. HOG 特 征 


方向 梯度 直方 图 (Histogram of Oriented Gradient，HOG) 是 由 N.Dalal 和 B.Triggs" ”等 人 
于 2005 年 提出 的 一 种 基于 梯度 方向 统计 的 特征 ， 最 初 HOG 被 用 于 静态 图 像 或 者 视频 中 的 
行人 检测 ， 随 后 被 广泛 应 用 于 各 种 对 象 ， 包 括 刚 体 如 汽车 、 摩 托 车 和 非 刚 体 如 动物 和 人 的 
检测 、 跟 踪 和 识别 。 

HOG 是 用 于 目标 检测 的 一 种 特征 描述 子 ， 广 泛 应 用 于 计算 机 视觉 和 图 像 处 理 领 域 。 
HOG 特 征 的 主要 思想 是 通过 提取 局 部 梯度 方向 的 分 布 ， 有 效 地 描述 图 像 中 目标 的 局 部 外 
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F 个 单元 





观 形状 ， 而 无 须 寻 找 确 定 边缘 的 位 置 。 在 特征 提取 中 ， 检 测 图 像 窗口 被 划分 为 若 
格 (Cell)， 在 每 个 单元 格 内 统计 各 像素 点 一 维 梯度 方向 的 直方 图 。"” 最 后 ， 基 于 更 大 的 区 


域 块 进行 归 一 化 处 理 ， 形 成 图 像 目标 的 特征 表示 。 
6.2 HOG 特 征 的 提取 方法 


HOG 特 征 提取 流程 ， 如 图 6-9 所 示 。 





图 6-9 HOG 特 征 提取 的 基本 流程 图 


6.2.1 图 像 梯度 计算 
图 像 中 的 每 个 像素 都 可 以 用 该 像素 的 梯度 方向 和 梯度 幅 值 表示 ， 如 图 6-10 所 示 。 





图 6-10 ”像素 点 的 梯度 幅 值 和 方向 
一 般 情况 下 ， 像 素 的 梯度 是 根据 该 像素 上 横 坐 标 方向 与 纵 坐 标 方向 的 梯度 计算 求 得 。 
从 Dalal 和 Triggs 的 测试 结果 可 知 ， 使 用 一 维 的 离散 梯度 模板 [-1 0 1] 实 现 起 来 比较 简单 、 快 
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捷 、 有 效 ， 可 以 方便 地 获得 图 像 梯度 信息 。 而 其 他 较 复 杂 的 离散 的 微分 模板 ， 如 Prewitt 或 
者 Sobel， 在 其 运算 量 增加 的 同时 ， 得 到 的 检测 效果 不 是 很 理想 。 

假设 一 幅 图 像 在 像素 点 (x，y) 处 的 像素 值 用 1x，y) 表 示 ， 则 (x，y) 处 的 水 平和 竖 直 梯 
度 计算 公式 为 


GG yell, yl, y) (6-16) 
G(x, y), yH), y-l) (6-17) 

样本 点 (x，») 的 梯度 幅 值 为 
GG, y= GŒ yG Œ, yy (6-18) 

样本 点 (x，y) 的 梯度 方向 为 
O(x, -em (6-19) 


6.22 空间 以 及 方向 上 的 梯度 统计 


对 每 个 单元 格 内 像素 点 的 梯度 量化 进行 直方 图 统计 。 梯 度 方向 的 角度 范围 可 以 为 0 至 
180° (无 符号 梯度 一 一 梯度 向 量 的 正 负 值 被 映射 到 同一 个 方向 组 )， 也 可 以 是 0 至 360”( 有 
符号 梯度 )。 实 验 结果 表明 ， 梯 度 方 向 的 角度 范围 是 [0，180”)， 并 且 直 方 图 通道 (Bin) 为 9 
时 表现 得 最 好 。 根 据 梯度 方向 的 范围 将 梯度 直方 图 划分 为 9 个 部 分 (每 个 部 分 对 应 一 个 梯度 
方向 区 域 ， 每 20" 为 一 个 区 域 ， 计 算 像 素 点 的 幅 值 与 方向 ， 在 像素 点 落 入 方向 的 区 域 中 进 
行 梯度 幅 值 琶 加 )， 如 图 6-11 所 示 。 

梯度 幅 值 





9 7 梯度 方向 
图 6-11 梯度 直方 图 划分 的 9 个 部 分 
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统计 梯度 方向 直方 图 是 以 各 单元 格 (Cell) 进 行 的 。 一 般 情况 下 ， 每 个 细胞 单元 (Cell) 
按照 8x8 像 素来 划分 ， 然 后 再 将 每 相 邻 的 4 个 小 细胞 单元 组 成 一 个 小 的 区 域 ， 我 们 称 之 为 
Block， 每 个 块 (Block) 为 2x2 个 Cells。 常 用 的 块 (Block) 的 形状 可 以 是 矩形 (R-HOG) 或 者 圆 形 
(C-HOG)， 本 书 采 用 的 是 矩形 ， 如 图 6-12 所 示 。 它 可 以 用 三 个 参数 来 表征 : 块 (Block) 中 细 
胞 单元 的 个 数 、 细 胞 单元 (CelD) 中 像素 点 的 个 数 、 细 胞 单元 中 直方 图 通道 (Bin) 的 个 数 。 


[T1 [] 


图 6-12 ”Block 与 Cell 的 示意 图 


要 计算 每 个 细胞 单元 内 对 应 的 梯度 方向 直方 图 ， 需 要 采用 加 权 统计 的 方式 来 进行 ， 
因为 考虑 到 每 一 个 像素 的 方向 梯度 不 一 定 都 能 落 在 区 域 中 央 。 假 设 某 像素 点 的 梯度 角度 
落 在 区 域 [20*，40") 边 缘 附近 20.2° 的 方向 ， 这 时 候 不 能 忽视 这 个 像素 点 梯度 幅 值 对 于 临 
近 区 域 [0，40") 的 影响 。 所 以 ， 如 果 不 对 梯度 幅 值 进行 相 邻 区 域 的 投影 ， 将 会 造成 特征 
的 不 稳定 。 这 时 候 可 以 利用 投影 的 方法 ， 将 每 个 像素 点 的 方向 投影 到 相 邻 的 两 个 区 域 中 
心 (10" 和 30° )， 在 相 邻 的 区 间 内 都 进行 梯度 的 琶 加 。 对 于 加 权 统计 的 计算 ， 其 权 值 可 通过 
像素 点 梯度 的 幅 值 或 者 幅 值 的 函数 来 表示 ， 幅 值 的 函数 可 以 采用 幅 值 的 平方 根 或 者 平方 
等 。 根 据 Dalal 等 的 实验 结果 可 知 ， 采 用 梯度 幅 值 作为 权 值 ， 进 行 加 权 统 计 可 获得 最 好 的 
效果 。 为 了 避免 梯度 方向 直方 图 在 Cell 单 元 格 边界 以 及 Bin 区 间 边 界 处 发 生 突变 ， 在 相 邻 方 
向 组 采用 三 线性 插值 ， 即 把 当前 像素 的 梯度 幅 值 作为 插入 值 ， 把 像素 的 梯度 方向 、 在 Cell 
单元 格 中 的 x* 坐 标 与 ?坐标 这 三 个 值 作为 插值 权重 进行 权 值 分 配 。 

这 样 ， 每 个 Cell 单 元 格 首先 通过 对 各 像素 点 的 梯度 幅 值 加 权 投 影 构 成 9 维 的 特征 向 
量 ， 再 对 单元 格 内 各 梯度 方向 进行 投影 操作 ， 即 映射 到 直方 图 通道 中 相应 的 角度 范围 ， 该 
Cell 单 元 格 的 HOG 特 征 描述 子 就 已 形成 。 


Pixel 








6.2.3 ” 块 内 梯度 直方 图 的 归 一 化 


图 像 序列 不 同 的 图 片 之 间或 同一 图 片 的 不 同 区 域 之 间 的 梯度 方向 直方 图 有 时 会 相差 很 
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大 ， 这 主要 是 因为 局 部 光照 强度 的 不 同 以 及 前 景 与 后 景 对 比 度 的 不 同 。 因 此 ， 为 了 提高 检 
测 的 效果 ， 前 弱 光 照 及 前 后 景 对 比 度 不 同 的 影响 ， 我 们 有 必要 对 图 像 进行 局 部 对 比 度 的 归 
一 化 。 
进行 归 一 化 的 处 理 办 法 有 很 多 ， 常 用 的 就 是 把 小 的 单元 格 (CelD 区 域 统计 到 一 个 稍 大 
的 区 域 块 (Block)， 然 后 基于 每 个 块 进行 归 一 化 。 这 里 ， 归 一 化 是 对 每 个 块 (Block) 进 行 的 ， 
归 一 化 函数 主要 有 以 下 4 种 : 


(1) L1-norm: ve dM s: Ll-norm 就 是 模 值 相 加 ， 即 曼哈顿 距离 。 


(2) Ll-sqrt: vebl, +e) ; L1 范 数 取 平方 根 。 
G) L2-norm: vev A te: Lo-normsEY PROTEUS. KREN. 
(4) L2-Hys: L2 范 数 的 基础 上 进行 限 幅 归 一 化 ， 使 v 的 最 大 值 为 0.2。 


假定 未 归 一 化 的 特征 描述 子 向 量 为 v。 人 ,表示 * 的 i 阶 范 数 ， 太 1，2。s 是 一 个 很 小 的 
归 一 化 常数 ， 用 来 防止 发 生 除数 为 0 的 情况 。 







































































6.24 ”最 终 HOG 特 征 向 量 的 生成 


所 有 Block 内 各 个 Cell 的 特征 向 量 连接 起 来 构成 HOG 特 征 描述 子 。 几 个 Cell 会 构成 一 个 
Block( 如 2x2 个 Cell 对 应 一 个 Block)， 每 个 Block 生 成 36 维 的 HOG 特 征 ， 如 图 6-13 所 示 。 再 
对 检测 图 像 窗口 滑动 搜索 扫描 ， 遍 历 每 个 Block 并 且 计算 Block 的 特征 向 量 ， 连 接 组 合 所 有 
Block 的 向 量 就 是 这 个 窗口 所 对 应 的 目标 特征 ， 也 是 最 终 可 用 于 分 类 的 特征 描述 子 。 






































图 6-13 ”一 个 Block 的 梯度 直方 图 
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63 ”HOG 特征 的 目标 描述 


HOG 特 征 的 提取 方法 是 按照 分 块 (Block) 分 单元 (Cell) 进 行 的 ， 所 以 对 图 像 局 部 像 
素 点 间 的 关系 可 进行 有 效 表达 。 由 于 HOG 特 征 拥有 几何 不 变性 ， 对 光照 变化 不 敏感 ， 
HOG 特 征 在 手势 识别 、 人 脸 识 别 、 车 辆 检测 等 应 用 领域 都 表现 出 良好 的 性 能 ， 如 今 
HOG 特 征 被 广泛 应 用 于 目标 检测 领域 中 。 因 此 ， 本 书 提取 HOG 特 征 进行 图 像 目 标的 描 
述 表达 。 

图 像 中 提取 HOG 特 征 的 主要 步骤 ， 如 图 6-14 所 示 。 

(1) 输入 图 像 ， 利 用 固定 大 小 的 窗口 扫描 图 像 ; 

(2) 提取 窗口 内 的 图 像 信息 ; 

(3) 将 窗口 均 分 为 多 个 不 重生 的 单元 ， 每 个 单元 为 8X 8 像素 ; 

(4) 计算 每 个 单元 内 的 像素 横 坐 标 方向 和 纵 坐标 方向 的 梯度 幅 值 ， 并 利用 这 些 信息 计 
算出 该 像素 的 梯度 方向 和 梯度 幅 值 ; 

(5) 在 每 个 单元 内 按照 给 定 的 量化 标准 统计 每 个 梯度 方向 范围 内 所 有 像素 的 梯度 幅 
值 ， 构 造 出 直方 图 ， 从 而 得 到 这 个 单元 的 HOG 特 征 向 量 ; 

(6) 将 每 个 单元 2X2 区 域内 的 单元 称 为 一 个 块 ， 对 每 个 块 内 的 单元 进行 对 比 度 归 一 化 
处 理 ， 从 而 降低 了 光照 的 影响 ， 每 个 块 的 HOG 特 征 向 量 是 由 其 内 的 每 个 单元 HOG 特 征 向 
量 串联 所 得 ; 

(7) 连接 组 合 所 有 块 内 的 HOG 特 征 向 量 ， 构 成 图 像 目 标的 高 维 HOG 特 征 描述 子 。 

本 书 采用 8X 8 个 像素 大 小 的 小 细胞 单元 Cell，4 个 Cell 组 成 一 个 局 部 区 域 块 Block， 每 
个 Cell 内 有 9 个 梯度 方向 的 维度 ， 每 个 Block 以 8 个 像素 宽度 为 步 长 对 输入 图 像 进行 扫描 ， 进 
而 可 以 提取 出 每 个 Block 内 的 HOG 特 征 ， 每 个 Block 内 有 4 个 9 维 的 梯度 特征 向 量 ， 对 块 中 所 
有 直方 图 采用 L2-Hys 归 一 化 函数 实现 归 一 化 ， 最 终 可 以 提取 出 每 个 样本 中 高 维 的 HOG 特 
征 向 量 。 
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扫描 窗口 ”构造 图 像 的 HOG 特 征 向 量 





统计 图 像 


对 块 内 单元 
将 4 个 单元 进行 对 比 度 
iMt 归 一 化 


将 窗口 均 分 为 
8x8 像 素 的 单元 


统计 单元 


内 的 2) 


计算 每 个 单元 内 像素 的 梯度 
图 6-14 ”提取 和 构造 图 像 HOG 特 征 的 主要 步 又 

















64 实验 结果 与 分 析 





本 书 进行 了 两 幅 样本 图 像 的 HOG 特 征 描 述 。 实 验 一 以 图 6-15 作 为 样本 图 像 ， 手 工 标定 
目标 区 域 ， 用 和 矩形 框 表示 。 整 幅 图 像 的 HOG 特 征 图 ， 如 图 6-16 所 示 。 标 定 图 像 块 的 HOG 
特征 图 ， 如 图 6-17 所 示 。 
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图 6-16 图像 HOG 特 征 图 图 6-17 目标 图 像 块 的 HOG 特 征 图 


实验 二 以 图 6-18 作 为 样本 图 像 ， 选 取 该 图 像 中 的 一 个 目标 图 像 块 ， 如 图 6-19 所 示 ， 手 
工 标定 目标 区 域 ， 用 和 矩形 框 表示 。 该 图 像 块 的 HOG 特 征 图 ， 如 图 6-20 所 示 。 
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图 6-19 选取 图 像 块 图 6-20 图 像 块 的 HOG 特 征 图 


第 7 章 
SVM 机 器 学 习 算法 
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7.1 支持 向 量 机 (SVMD) 的 原理 


支持 向 量 机 (Support Vector Machine，SVMD) 是 VapnikPo 于 1995 年 在 统计 学 习 理 论 研究 
和 结构 风险 最 小 的 前 提 下 提出 的 一 种 机 器 学 习 分 类 算法 。 该 算法 的 最 大 优点 在 于 能 有 效 解 
决 小 样本 、 非 线性 及 高 维 模式 等 的 识别 分 类 问题 ， 如 今 已 成 为 通用 的 且 性 能 良好 的 分 类 
算法 。 

小 样本 : 在 实际 应 用 中 ， 对 任何 算法 而 言 ， 选 取 的 样本 越 多 ， 最 终 的 实验 效果 就 会 越 
好 ， 但 SVM 算法 达到 同样 的 效果 所 需要 的 样本 数 会 相对 较 少 。 

非 线性 : 该 点 为 SVM 的 精髓 ， 主 要 是 指 SVM 通 过 惩 神 因子 和 核 函 数 的 参数 设置 ， 有 
效 处 理 非 线性 可 分 的 样本 数据 。 

高 维 模式 : SVM 分 类 器 非常 简洁 ， 仅 用 样本 数据 中 “支持 向 量 ” 的 少量 样本 ， 即 便 
样本 维 数 高 ， 存 储 和 计算 也 不 会 特别 复杂 。 

SVM 算法 的 基本 思想 是 : 对 于 线性 可 分 情况 ， 寻 找 一 个 最 优 分 类 超 平 面 ， 其 在 保证 
两 类 样本 正确 线性 区 分 的 前 提 下 ， 使 分 类 间隔 最 大 。 对 于 非 线 性 情况 ，SVM 通 过 一 个 核 
函数 对 原始 数据 升 维 运算 ， 映 射 到 另 一 个 新 的 高 维特 征 空间 上 ， 使 得 样本 在 该 空间 上 线性 
可 分 ， 由 此 建立 的 最 优 分 类 超 平面 在 原始 空间 内 是 一 个 超 曲面 。 


72 ”SVM 分 类 器 的 数学 模型 


7.2.1 线性 可 分 情况 下 的 SVM 模型 


SVM 分 类 方法 适用 于 线性 可 分 情况 下 的 分 类 ， 如 图 7-1 所 示 。 
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AMA H: wixtb=0 
Hı: w'x+b=1 
H: w'x+b=l 











X 
图 7-1 二 维 线性 可 分 问题 示意 图 
两 类 训练 样本 由 空心 方块 和 实心 方块 表示 。 太 为 分 类 线 ， 即 样本 集合 中 所 有 的 两 类 数 
据 均 可 以 被 正确 划分 。 直 线 及 、 厂 都 与 平行 ， 且 两 类 数据 中 离 分 类 线 最 近 的 样本 均 在 
直线 及 、 及 上 。 甩 、 本 之 间 的 距离 就 是 分 类 间隔 (Margin)， 间 距 为 2/|wl|。 如 果 及 既 能 满足 
两 类 数据 无 错误 地 分 开 ， 且 能 使 分 类 间隔 最 大 ， 它 就 是 寻找 的 最 优 分 类 线 ， 位 于 矿 、 厂 上 
的 样本 即 为 支持 向 量 。 
对 于 一 个 训练 数据 集合 Gs，y)， 二 1，2，…，n，xiER"，yE {D1，1} 即 x 为 q 维 特征 向 
量 ，ywE {01，1} 表 示 类 别 ， 最 优 超 平面 的 方程 表示 为 wx+5=0， 则 qd 维 空间 的 线性 判别 函 
数 为 g(x)=w"x+b5。w 是 SVM 超 平面 法 向 量 ， 也 就 是 分 类 方程 的 系数 。 不 失 一 般 性 ， 两 类 数 
据 满 足 可 分 的 情况 有 以 下 关系 
wx, *bzl, "y, =1 时 
n «-1, Ay, =-] 时 Cn 
将 式 (7-1) 归 一 化 ， 即 两 类 样本 满足 
»x (wt b)21 (7-2) 
则 我 们 可 以 得 到 到 与 码 之 间 的 距离 ， 即 
w-0-b-1 w-0+b+1 2 


-|an -dal= x aS 73 
ol MTM (3 
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那么 ， 最 后 超 平面 的 求解 就 是 要 求 式 (7-3) 的 最 大 化 等 价 于 最 小 化 2/|Iwl|， 于 是 由 寻找 
最 优 超 平 面 转 化 为 一 个 约束 优化 问题 ， 即 


min e(v)-2bdf 
st y(wWx+b)>1, El, 2, s N 
该 问题 实际 是 二 次 规划 (Quadratic Programming，QP) 问 题 ， 又 可 以 行 域 为 凸 集 ， 故 这 
是 一 个 凸 二 次 规划 问题 ， 因 此 可 以 转化 为 拉 格 朗 日 (Lagrange) 问 题 处 理 ， 求 解 最 优 参数 w、 
2， 同 时 也 就 得 到 了 最 优 分 界面 ， 然 后 可 以 对 未 知 样本 进行 分 类 。 
构造 Largange 函 数 ， 即 


minL(w, b, a) =H -Èa [> (wx, «b)-1] 


(7-4) 


C-5) 
a,20, i1, 2, ., n 
其 中 a 是 Largange 乘 子 。 
(1) 首先 不 考虑 wc， 分 别 对 w、2 求 偏 导 ， 即 
Zos wo 
(7-6) 
一 20 2a» -0 
把 式 (7-6) 的 计算 结果 带 入 L， 得 到 原 问 题 的 对 偶 (Dual) 问 题 ， 即 
max L, (a) - Ya - X QA YY X X; 
a iz bja (7-1) 


sd. Ya» -0. G;Z0,i-1, 2, .., m 


is je 


它 的 具体 推导 过 程 为 
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L(w, b, a 中 = 引导 -a [»( wx, +b)- )-1] 
s3" w- assis -Yasb*Ya, 
i=l 


=s" Da R Esos Eee Èa 


i=l 


- "Yayx- vEass -Pavbt Da 
id 


i=l 


-二 73 aya- Lashes 


i=l i=l 


(7-8) 
= oz -Dent Do 
= Haa] 3 Les -b$ av, s 
--3X«s FÈ ava -b$ ay + Do 
-— Y ay, (x, (x). Oy gx; -bF ay, + Ya, 
Da il ia 
-Èa Da 六 
2j 
(2) 求 对 偶 问题 的 最 优化 ， 即 求 a 的 极 大 值 。 从 公式 (7-8) 得 到 
max Ya -15 aayy 95 
zi 225 
$..0,2-0, Fi 2, ... n (7-9) 
Say=0 
可 求 得 唯一 解 a* 王 (a%,，…，a’)， 则 a 所 对 应 的 训练 样本 x, 即 为 支持 向 量 。 由 
w= ass. Rw: Hp Monnt, wn 求 5* 值 。 最 终 ， 得 到 


2 
f(x) - seno") 5 ]-sen [52699]. 该 函数 就 是 所 求 的 分 类 决策 函数 。 
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7.2.[2 ”线性 不 可 分 情况 下 的 SVM 模型 


对 于 大 多 数 的 实际 问题 ， 完 成 两 类 样本 数据 的 线性 分 开 是 非常 困难 的 。 我 们 尽量 寻找 
一 个 分 类 平面 使 尽 可 能 少 的 样本 点 错 分 ， 可 看 作 该 样本 能 近似 线性 可 分 。 数 学 上 ， 利 用 松 
弛 变量 50， 二 1，2，…，n， 使 平面 wx+5=0 满 足 
w xt+b1-& ， 当 y=1 时 
wxtb S-E, Hy, =l} 
使 得 式 (7-10) 具 有 一 定 的 容错 性 ， 则 相应 的 目标 函数 变 为 
min $(w, b, £e «cs 
i: E 
SÈ x (wx «b)zi-6& (11D 


i-l 2, 5H 

其 中 C 为 惩罚 因子 ，C 越 大 ， 惩 罚 越 大 ， 表 明 我 们 越 重视 错 分 点 ， 越 不 愿意 放弃 。 在 整个 
求解 过 程 中 ， 徙 罚 因子 C 设 置 为 一 定 值 ， 需 要 参数 寻 优 。 六 5 是 惩罚 函数 ， 代 表 错 划 程 
度 ， 表 示 所 有 错 分 的 样本 点 到 相应 正确 分 界面 的 距离 。 只 有 “ 错 分 点 ” 才 有 松弛 变量 与 之 
相对 应 ， 其 他 正确 可 分 样本 点 都 为 0。 

上 述 情况 将 线性 不 可 分 问题 “强行 地 ”看 作 线 性 可 分 进行 处 理 ， 引 入 松弛 变量 和 惩罚 
因子 的 目的 ， 就 是 对 错误 分 类 的 样本 进行 “包容 ”。 

同样 地 ， 引 入 乘 子 a、p， 构 建 Lagrange 函 数 ， 并 求解 这 个 具有 线性 约束 的 二 次 规划 问 
题 ， 即 


(7-10) 


. (d " N N N 
maxminL, =z ne ge OM [p(o] Bs (7-12) 
st. 0<a, 0x 


把 上 述 问题 转换 为 对 偶 问 题 ， 即 


N 1 N 
max L, a, Y a (svn), 
i Lj 
st. 0a, «C (1-13) 


N 
3a =0 
ia 


第 7 章 SVM 机 器 学 习 算 法 | 135 


可 以 看 到 ， 这 种 处 理 与 线性 可 分 情况 的 唯一 区 别 是 对 a 设 定 了 一 个 上 限 。 而 且 ， 对 于 
非 线 性 情况 ， 该 方法 同样 适用 ， 从 而 使 SVM 算法 对 于 模式 识别 问题 具有 通用 性 。 


7.2.3 非 线 性 可 分 情况 下 的 SVM 模型 


对 于 最 优 分 类 面 是 非 线 性 函数 的 情况 ， 可 通过 一 个 非 线 性 变换 为 一 个 新 特征 空间 的 线 
性 问题 求解 。 但 实现 这 种 方法 要 解决 两 个 问题 : 一 是 在 概念 上 如 何在 高 维 空间 寻找 一 个 推 
广 好 的 最 优 分 类 超 平面 ， 二 是 在 技术 上 如 何 处 理 高 维 空间 中 复杂 的 计算 问题 。 如 果 数 学 上 
可 以 找到 一 个 函数 ，K: (R”，R”) 一 情 使 得 K(x;，%) 等 于 x;、% 在 高 维特 征 空间 中 的 映射 之 
内 积 ， 即 K(x;，)=GB(x;))。，GB(%)， 其 中 B(x) 为 x 映射 到 高 维 线性 空间 x"， 则 K(x;，x) 称 为 核 函 
数 。 那 么 用 核 函 数 K(x;，x%) 直 接 代 蔡 最 优 分 类 平面 中 的 点 积 x;、xy， 在 计算 的 复杂 程度 几乎 
不 变 的 情况 下 ， 就 可 以 把 原 特征 空间 升 维 到 另 一 高 维特 征 空间 。 训 练 完成 后 的 决策 函数 变 


3 f(x)- sa| Zark x) , 


可 以 看 到 ， 支 持 向 量 机 分 类 与 传统 分 类 方法 的 处 理 思路 截然 相反 ， 该 算法 不 是 按 常 理 
将 原 特 征 空 间 降 维 ， 而 是 设法 升 维 ， 通 过 高 维 空间 把 平面 上 本 身 不 好 分 的 原 数据 分 开 ， 完 
成 非 线性 不 可 分 情况 到 线性 可 分 或 接近 线性 可 分 情况 的 转换 。 由 于 通过 核 函 数 进行 升 维 ， 
向 量 内 积 运算 方式 被 改变 ， 并 没有 提高 问题 的 计算 复杂 度 。 在 图 7-2 中 ， 两 类 数据 样本 在 
二 维 空间 中 线性 不 可 分 ， 可 升 维 到 三 维 空间 完成 原 数据 的 分 类 。 





图 7-2” 非 线性 可 分 通过 升 维 达到 线性 可 分 的 示意 图 
常见 的 核 函 数 有 
(D RERI Kap x)= tos 
Q) 多 项 式 核 函数 : Ko xe ex, Kpah DET R10; 
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G) 径 向 核 函数 : Ker oo EL) 其 中 的 范围 通常 取 0.001 一 0.006; 

(4) S 型 核 函 数 ， Kæ, x;)-tanb[a(x * xb]. 

本 书 采用 的 是 线性 核 函数 ， 线 性 核 函 数 的 运算 速度 比较 快 ， 会 提高 系统 的 实时 性 ， 使 
平均 运行 速度 提高 。 因 为 使 用 线性 核 函 数 可 以 直接 将 待 检测 图 像 与 SVM 训练 模板 进行 卷 
积 操作 ， 而 不 需要 将 模板 特征 和 竺 检测 图 像 特征 映射 到 核 函 数 对 应 的 特征 空间 中 。 通 过 过 
代 方 式 可 以 将 SVM 训练 的 过 程 理解 为 对 含 约束 条 件 的 二 次 优化 问题 求解 的 过 程 ”"， 此 处 
设 一 定 的 容许 误差 以 及 最 大 的 迭代 次 数 ， 以 便 在 适当 条 件 下 使 该 算法 的 计算 过 程 停止 。 


73 ”SVM 分 类 器 设计 


SVM 分 类 器 通过 寻找 一 个 最 优 分 割 超 平面 ， 其 在 保证 两 类 样本 正确 区 分 的 前 提 下 ， 
使 分 类 间隔 最 大 。 选 择 样 本 集 {x;，y}:,， 其 中 ，y;E {D1，1} 为 各 样本 标签 。 最 优 超 平 面 函 
数 的 确定 可 通过 含 约束 条 件 的 二 次 规划 问题 (Quadratic Programming) 求 解 。 分 割 超 平面 的 
表达 公式 为 
f()- Tat, x)« 0-14) 
UB. Qu ya AIRE, x79— 1 EI BUR D]. ka x) 9 EUR HISIEESVM 
的 分 类 超 平面 从 线性 不 可 分 情况 转化 为 非 线性 可 分 情况 。 判 别 函数 fo) 用 来 区 分 x 的 类 别 。 
若 w 对 应 的 训练 样本 x 为 支持 向 量 ， 构 建 超 平面 的 关键 就 是 求解 非 零 数 组 wi。 
在 进行 目标 跟踪 时 ， 向 分 类 器 输入 一 个 候选 目标 之 ， 则 对 应 的 判别 输出 为 
f(,)- X ks. x,)+b (1-15) 
最 后 ， 使 分 类 器 具有 最 大 输出 值 的 二 确定 为 跟踪 目标 ， ns I 其 
中 9 表示 候选 目标 空间 。 








1 
max Deke x) 
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7.4 HOG 和 SVM 的 目标 外 观 模 型 


7.4.1 目标 外 观 模型 的 建立 


Dalal-Triggs 所 设计 的 行人 检测 器 通过 单一 的 HOG 特 征 滤波 器 来 表示 目标 类 别 ， 并 利 
用 检测 窗口 依次 滑动 搜索 图 像 所 有 的 位 置 来 检测 目标 ， 它 在 2006 年 的 PASCAL VOC 目 标 检 
测 比赛 上 获得 冠军 。 本 书 就 是 通过 Dalal-Triggs 检 测 器 提取 目标 HOG 特 征 ， 用 支持 向 量 机 
(SVMD) 分 类 器 训练 ， 得 到 目标 HOG 模 板 。 

该 检测 器 相当 于 一 个 分 类 器 ， 将 图 片 、 图 片 的 像素 坐标 以 及 图 片 尺度 作为 输入 。 这 个 
分 类 器 通过 滤波 运算 判定 在 给 定 尺度 的 窗口 内 是 否 存 在 目标 实例 。 模 型 是 一 个 单一 的 滤波 
器 ， 可 以 通过 下 式 计 算得 分 

score=£ * (x) (7-16) 
式 中 Pp 为 滤波 器 ， 是 模型 参数 的 向 量 形式 ; x 是 输入 图 像 ， 指 定 了 像素 点 坐标 以 及 尺度 大 
小 ，9(x) 表 示 特 征 向 量 。 

本 章 在 初始 帧 中 随机 选择 大 量 含 目标 区 域 以 及 含 背 景区 域 的 等 大 图 像 块 ， 分 别提 取 
HOG 特 征 ， 标 记 为 正 负 样本 ， 并 将 这 些 带 有 标签 的 训练 样本 输入 SVM 分 类 器 ， 使 分 类 器 
具有 一 定 的 分 类 能 力 ， 输 出 相应 的 HOG 特 征 模板 ( 即 分 类 器 权 值 )， 再 经 过 与 SVM 训练 模板 
卷 积 操作 ， 即 可 获得 目标 准确 的 参数 化 外 观 模型 。 具 体 实现 细节 如 下 : 

(1) 根据 第 一 帧 已 标注 的 目标 位 置 进行 正 负 样本 的 采样 ， 提 取 两 类 正 负 样本 的 HOG 特 
征 ， 从 而 建立 特征 空间 下 的 初始 化 训练 集合 。 对 于 HOG 特 征 ， 根 据 本 书 6.2 节 对 于 HOG 特 
征 提取 的 原理 及 算法 的 描述 ， 本 书 采用 8X 8 个 像素 大 小 的 小 细胞 单元 Cell， 由 4 个 Cell 组 成 
的 一 个 局 部 区 域 块 Block， 每 个 Cell 内 有 9 个 梯度 方向 的 维度 ， 每 个 Block 以 8 个 像素 宽度 为 
步 长 对 输入 图 像 进 行 扫描 后 可 以 提取 出 每 个 Block 内 的 HOG 特 征 ， 每 个 Block 内 有 4 个 9 维 的 
梯度 特征 向 量 ， 这 样 就 可 以 提取 出 每 个 样本 中 高 维 的 HOG 特 征 向 量 。 

(2) 对 所 有 样本 给 予 相应 的 样本 标签 。 例 如 ， 标 记 正 样本 为 1， 负 样本 为 -1。SVM 通 
过 对 样本 的 学 习 找 到 特征 向 量 样本 中 的 支持 向 量 ， 建 立 最 优 分 类 超 平 面 ， 得 到 具有 一 定 分 
类 能 力 的 分 类 器 ， 再 将 当前 视频 中 运动 目标 的 检测 结果 作为 测试 样本 ， 并 提取 它 的 特征 向 
量 ， 输 入 SVM 即 可 训练 得 到 目标 的 参数 化 外 观 模型 。 
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7.4.2 SVM 分 类 器 的 训练 























SVM 分 类 器 的 训练 采用 一 个 简单 易 用 、 快 速 有 效 的 SVM 软件 包 一 一 LibSVM 函 数 库 。 
该 函数 库 提供 了 源 代码 ， 方 便 修改 并 有 可 执行 文件 ， 可 在 其 他 操作 系统 上 应 用 ， 可 以 让 非 
专业 用 户 更 加 方便 快捷 地 使 用 SVM 这 个 统计 学 习 工具 ， 而 无 须 考虑 其 内 部 复杂 的 数学 模 
型 和 运算 过 程 。 它 对 SVM 所 涉及 的 参数 调节 较 少 ，LibSVM 库 中 有 各 种 SVM 表达 公式 ， 同 





















































时 包含 4 种 常用 的 核 函数 及 其 默认 参数 ， 可 适用 于 很 多 分 类 情形 ， 








Validation) 的 功能 来 分 析 分 类 识别 的 正确 率 。 

















并 提供 了 交互 检验 (Cross 


下 面 是 利用 LibSVM 来 训练 SVM 分 类 器 的 过 程 。 本 书 讨论 的 学 习 样 例 均 为 图 像 块 
(Patch)， 即 每 个 图 像 块 对 应 一 个 机 器 学 习 的 实例 。 采 用 图 像 块 描述 目标 对 象 ， 其 结果 直 
观 、 灵 活 ， 且 抗 变换 能 力 强 。 图 像 块 本 身 能 达到 抗 平 移 变换 的 效果 ， 在 图 像 块 上 做 适当 
的 特征 提取 (如 颜色 或 者 梯度 直方 图 ) 能 够 抵抗 一 定 的 仿 射 变换 与 变形 变换 ， 而 对 于 旋转 变 
换 ， 可 以 通过 多 个 不 同 朝向 的 图 像 块 来 描述 。 由 于 对 图 像 的 基本 操作 (如 特征 提取 ) 都 在 图 
像 块 上 进行 ， 因 此 基于 图 像 块 的 机 器 学 习 过 程 比 基 于 复杂 物体 部 分 的 方法 更 加 简单 快速 ， 





特别 适用 于 在 线 学 习 问题 ， 满 足 了 目标 对 象 跟踪 的 实时 性 要 求 。 








以 红 花 视频 中 的 一 个 图 像 块 为 例 ， 首 先 根据 第 一 帧 已 标注 的 该 目标 位 置 进行 正 负 样 本 
的 随机 采样 ， 各 取得 表示 目标 的 50 个 正 样本 以 及 表示 背景 的 100 个 负 样 本 ， 并 给 予 相应 的 








训练 分 类 器 ， 如 图 7-3 所 示 。 
围 alpha «1x1 struct> 





样本 标签 。 将 这 些 训练 样本 数据 转换 为 LibSVM 要 求 的 文件 格式 后 ， 利 用 svm-train.exe 程 序 





Field < Value Min 
Parameters [0;4;3;0.0066;0] 0 
nr_class 2 2 
totalSV 17 17 
rho 0.9997 0.9997 
Label [0:1] 0 
ProbA -4.2401 -4.24... 
ProbB 0.3343 0.3343 
nSV [1:16] 1 
sv. coef «17x1 double» -0.12... 


SVs <17xl double» 








图 7-3 ”训练 输出 结果 
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svm-train.exe 程 序 的 输出 结果 : totalSV 为 支持 向 量 的 总 数目 :Label 设置 分 类 中 的 类 别 
标签 ; rho 为 判别 函数 的 偏 置 项 b; nSV 是 每 类 支持 向 量 的 个 数 ，sv_coef 为 支持 向 量 对 应 的 
权重 系数 wi; SVs 是 相应 的 支持 向 量 。 

下 面 为 分 类 器 训练 和 验证 的 过 程 。 

K>> a= [post{ii} : neg {ii}] : 

K>> a_label=a (:, end) : 

K>> a inst-a (:, 1: end-1): 

K>> model = svmtrain (a label,a inst) : 

K>> [predict label, accuracy] = svmpredict (a label,a inst, model): 

Accuracy = 10096 (150/150) (classification) 

由 此 可 以 看 出 ， 通 过 训练 样本 训练 出 的 分 类 器 的 分 类 正确 率 达到 100%， 验 证 了 利用 
SVM 分 类 对 运动 目标 进行 识别 的 可 行 性 。 对 测试 样本 数据 的 验证 之 所 以 能 达到 100%， 是 
因为 测试 样本 的 数据 与 训练 样本 的 数据 相差 不 大 。 实 际 中 ， 对 通过 运动 检测 出 的 目标 进行 
识别 时 ， 因 考虑 到 各 种 因素 的 影响 将 不 会 达到 100% 的 正确 率 。SVM 分 类 器 训练 好 后 ， 保 
存在 Model 的 文件 中 ， 以 后 再 利用 该 分 类 器 进行 目标 识别 时 ， 只 需 加 载 该 文件 ， 即 可 获得 
分 类 器 模型 。 


第 8 章 
可 变形 模板 的 多 目标 跟踪 模型 
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由 于 在 不 同 的 环境 中 单个 个 体 的 形态 差异 很 大 ， 而 且 不 仅 有 光照 和 视角 的 变化 ， 还 有 
目标 的 非 刚性 变形 ， 各 种 复杂 因素 使 得 运动 目标 的 视觉 外 观 变化 诸多 ， 现 有 的 模型 不 能 及 
时 适应 物体 的 运动 ， 特 别 是 非 刚性 物体 的 运动 ， 因 此 要 研究 一 个 合适 的 建 模 方法 来 满足 目 
标 检测 的 需求 。 


8.1 可 变形 模板 


可 变形 模板 单独 对 各 部 件 本 身 进行 描述 ， 并 对 不 同 部 件 之 间 的 关系 进行 建 模 ， 进 而 通 
过 组 合 来 描述 整体 模板 ， 从 而 比 单一 模板 灵活 ， 能 处 理 不 同 的 局 部 遮挡 和 结构 变化 。 可 变 
形 模 板 及 模型 用 空间 相关 的 部 件 模 型 的 集合 来 表示 目标 ， 对 每 个 部 件 (可 变形 ) 目 标的 外 观 
建 模 、 部 件 之 间 的 空间 关系 是 由 部 件 位 置 的 一 些 联合 分 布 建 模 而 成 的 。 这 个 部 件 位 置 的 常 
见 的 联合 分 布 选取 包括 : 

(1) 主 元 分 析 法 (PCA) 模 型 : 使 用 一 个 低级 高 斯 模型 。 具 有 代表 性 的 是 主动 外 观 模型 
(Active Appearance Model，AAM)、 主 动 形 状 模型 (Active Shape Model，ASM)、 局 部 约 
REN, POEP EAA Principal Component Analysis，PCA) 的 模型 被 广泛 应 用 在 人 
脸 或 医学 图 像 分 析 中 。 

Q) 图 结构 模型 :使 用 部 件 间 弹簧 的 集合 ， 有 代表 性 地 使 用 树 结构 。 基 于 图 结构 的 模 
型 通常 应 用 在 目标 检测 、 姿 态 估计 和 手势 识别 的 任务 中 。 一 般 的 训练 数据 不 足以 用 来 训练 
基于 PCA 的 模型 ， 这 就 是 我 们 重视 图 结构 的 原因 。 


82 ”图 结构 模型 


图 结构 本 身 就 是 一 种 可 变形 模板 。 基 于 部 件 的 图 结构 模型 其 实 是 一 个 弹簧 模型 ， 模 型 
的 每 一 部 分 都 通过 弹簧 连接 。 图 8-1 是 人 脸 的 弹簧 模型 。 部 分 之 间 的 关系 将 这 个 物体 抽象 
为 由 弹簧 相连 的 物体 ， 各 组 成 部 分 之 间 的 相互 运动 也 是 在 弹簧 的 相互 作用 下 进行 的 。 
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本 书 对 多 目标 间 的 空间 位 置 关 系 给 予 重视 ， 通 过 图 结构 的 思想 来 构造 相互 关系 模型 ， 
从 而 增加 一 定 程度 的 空间 结构 约束 ， 将 可 变形 模板 检测 原理 应 用 于 多 目标 跟踪 场景 。 





MOUTH 
图 8-1 人 脸 的 弹 筑 模 型 


形式 化 表示 中 ， 基 于 部 件 (Part-Based) 的 可 变形 模型 可 以 用 无 向 图 G=(V，E) 来 表示 ， 
大 fy，W，“…， 芭 } 代 表 n 个 部 分 ， 边 (vw，w) EE 代表 两 部 分 间 的 连接 。 物 体 在 图 像 中 的 位 
置 由 其 部 分 结构 给 出 ， 即 Z={11，1，*…，}，/ 是 第 vi 个 部 分 的 位 置 。 给 定 一 幅 图 像 ，v 被 
放置 在 图 片 中 的 7 位置 时 ， 与 模板 的 匹配 程度 为 m,(1); vi、vw 被 分 别 放置 在 图 片 中 的 7,、7 位 
置 时 ， 模 型 的 变化 程度 为 dy(1;,， 站 。 因 此 ， 一 幅 图 像 相对 于 模型 的 最 优 配置 ， 就 是 使 其 既 
能 与 每 一 部 分 的 匹配 度 好 ， 又 能 使 部 分 间 连 接 的 变化 程度 小 ， 即 部 分 间 的 相对 关系 与 模型 
尽 可 能 相符 。 定 义 一 个 能 量 方程 用 来 描述 这 两 部 分 ， 与 模型 匹配 最 好 的 对 象 就 是 能 使 这 个 
能 量 函数 最 大 的 数据 对 象 。 可 以 通过 公式 (8-1) 描 述 最 优 配置 (Configuration)。 
wwe [2m (0-. 24 外 (8-1) 
在 之 前 的 许多 研究 中 ， 包 含 目标 部 件 间 最 重要 的 空间 关系 由 图 结构 手动 设计 。 例 如 ， 
用 8 部 分 来 表示 人 体 上 半身 的 分 层 结构 (上 /下 手臂 、 头 部 、 躯 干 和 手 )。” “为 了 使 模型 更 
加 灵活 ， 进 一 步 将 这 些 上 半身 的 部 分 划分 为 更 小 的 子 部 分 。” 然 而 ， 当 设计 的 模型 用 于 
检测 或 跟踪 任意 目标 时 ， 这 种 用 手动 方法 设计 图 结构 模型 的 方式 是 不 可 行 的 。 因 此 ， 任 意 
目标 的 检测 器 通常 使 用 通用 的 结构 模型 。 由 于 物体 组 成 部 分 存在 空间 上 的 位 置 关系 ， 我 
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们 需要 考虑 物体 组 成 部 分 间 的 连通 性 ， 根 据 连 通 性 结构 的 不 同 ， 模 型 结构 有 两 种 : (DStar 
Shape( 星 形 )， 每 一 部 分 都 与 某 一 个 中 心 部 分 相关 联 ， 其 余部 分 间 相 互 独立 ，@Tree( 树 
形 )， 模 型 中 的 子 节点 只 与 其 父 节点 存在 关联 。 


8.2.1 图 的 基本 概念 


由 于 图 (Graph) 可 以 保留 图 像 的 结构 以 及 目标 区 域 之 间 的 相互 关系 ， 因 此 ， 它 可 以 作 
为 一 种 非常 重要 并 且 有 效 的 表示 结构 特征 信息 的 描述 工具 。 图 像 到 图 的 转化 是 用 图 G 中 的 
顶点 wE TV 表示 图 像 中 的 像素 ， 用 图 的 边 ey 表示 像素 特征 之 间 的 连接 关系 ， 其 差异 性 或 相似 
性 由 定义 在 边 上 的 权重 w; 度 量 ， 从 而 将 图 像 映射 到 加 权 图 (Weighted Graph) 

提 到 树 结 构 的 图 模型 ， 我 们 应 首先 定义 图 。29 

一 个 图 G 是 由 非 空 点 集 碟 V(G) 和 Vy 中 元 素 的 无 序 对 的 一 个 集合 E=E(G) 所 构成 的 二 元 
2H, WVG), EO] WGV, E). RPG {vo ve c va ROSE 
Hs E(G)(e, €,» *, eUEÉGmllfea. 

在 每 一 帧 目标 图 像 中 ， 图 是 由 节点 和 边 所 构成 的 完整 集合 ， 即 G=(V，E)， 本 书 中 每 
一 个 目标 物体 都 定义 为 图 中 的 一 个 节点 ， 目 标 间 的 空间 相互 关系 为 图 中 的 边 。 下 面 是 图 G 
中 一 些 相关 的 基本 概念 。 

(1) 邻接 节点 ， 由 边 相 连 的 两 个 节点 ， 记 为 v，vEE(G); 

QH: 两 端 节点 相同 的 边 ; 

G) 平行 边 : 方向 相同 的 若干 边 ; 

(4) Br: 图 G 的 节点 个 数 ; 

OÈ: 与 图 G 的 任 一 节点 v 相 连 的 边 的 个 数 ， 记 为 dv; 

(6) 无 向 图 : 每 条 边 都 是 无 向 边 的 图 ; 

C) 有 向 图 : 每 条 边 都 是 有 向 边 的 图 ; 

(8) 简单 图 : 无 环 并 且 无 平行 边 的 图 ; 

(9) 完全 图 : 任意 两 节点 都 有 边 连 接 的 简单 无 向 图 。 

图 8-2 给 出 了 无 向 图 、 有 向 图 、 完 全 图 以 及 有 向 完全 图 的 示例 。 
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(0) 有 向 图 





(c) 完全 图 (d) 有 向 完全 图 
图 8-2 各 种 图 的 示例 


8.22 ”表示 图 像 结 构 特征 的 图 


由 于 选择 图 中 不 同 的 节点 和 不 同 的 边 ， 就 可 以 组 成 不 同 的 图 结构 ， 因 此 ， 图 可 以 很 好 
地 对 图 像 中 目标 物体 的 结构 模型 进行 表征 。 图 像 处 理 任务 中 常用 的 图 结构 中 有 以 下 两 种 。 

1. 赋 权 完全 图 

设 图 像 含 个 特征 值 ， 用 入 {x,，x,，*…， 芒 } 表 示 ， 以 点 集中 x% 作 为 图 中 节点 v 来 构造 完 
全 图 G=(.，E)， 即 ={y，Y，…，%}， 图 中 相应 节点 之 间 的 边 的 权 值 表示 特征 点 之 间 
的 距离 ， 即 ={e1，es，…，ew}， 比 如 用 欧式 距离 来 表征 ， 则 = 上 -zj|。 

2. 最 小 生成 树 (Minimum Spanning Trees，MST) 

若 图 结构 树 模 型 中 含 所 有 的 n 个 节点 和 nn0D1 条 边 ， 则 该 树 模 型 称 为 图 G 的 生成 树 
(Spanning Trees)。 若 定义 若干 个 权 值 分 别 赋予 原 图 G 中 的 各 边 ， 则 形成 G 的 加 权 无 向 连通 
图 ; 在 保证 不 出 现 回路 的 前 提 下 ， 依 次 连接 图 中 权 值 最 小 的 边 ， 最 后 构成 的 这 个 权 值 和 最 
小 的 生成 树 就 是 图 的 最 小 生成 树 (MST)。 

构造 过 程 中 需要 满足 两 个 条 件 : 首先 ， 在 保证 边 不 构成 回路 的 前 提 下 ， 寻 求 权 值 最 小 
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的 恰当 边 ， 其 次 ， 保 证 选取 的 nD1 条 边 能 连接 图 中 所 有 的 n 个 节点 。 若 图 中 各 边 给 定 的 权 值 
都 不 等 同 ， 那 么 它 有 唯一 结构 的 最 小 生成 树 模型 。 


83 ”构造 最 小 生成 树 


赋 权 完全 图 强调 任意 两 个 顶点 之 间 都 有 权 值 表征 ， 顶 点 之 间 两 两 相互 连接 ， 信 息 表达 
丰富 。 然 而 ， 太 多 的 信息 处 理 起 来 比较 麻烦 ， 会 增加 问题 的 复杂 性 。 最 小 生成 树 (MST) 是 
图 论 中 另 一 个 用 于 描述 图 像 结构 特征 的 数学 模型 ， 由 于 其 表达 能 提取 模型 中 重要 的 结构 ， 
可 有 效 降低 模型 的 复杂 度 ， 近 年 来 受到 广大 研究 者 的 重视 和 肯定 。 

图 8-4 和 图 8-5 所 示 的 生成 树 G1 和 G2， 都 表示 图 8-3 中 G 的 生成 树 。G1 和 G2 中 所 有 的 5 
个 节点 都 相互 连通 且 没 有 形成 回路 ,但 只 有 G2 是 G 的 最 小 生成 树 。G 中 最 小 的 4 个 权重 2、 
3、6、7 分 别 对 应 (1，2)、(3，5)、(3，4)、(4，5)4 条 边 ， 因 为 (3，5)、(3，4)、(4，5)3 条 
边 形成 回路 ， 故 要 去 除 相对 权重 最 大 的 边 (4，5)， 而 边 (2，3) 符 合 最 小 生成 树 的 条 件 。 无 
论 G 有 多 少 棵 生成 树 ， 最 小 生成 树 只 能 是 图 8-5 所 示 的 G2 这 唯一 的 形式 。 





图 8-4 G 的 生成 树 G1 图 8-5 G 的 生成 树 G2 


最 小 生成 树 (Minimum Spanning Tree，MST) 是 数据 结构 中 一 个 很 重要 的 概念 ， 经 常 被 
用 于 解决 一 些 实际 问题 。 常 用 的 求解 加 权 无 向 图 最 小 生成 树 问题 的 方法 有 1957 年 提出 的 
Kruskal 算 法 和 Prim 算 法 。P5 各 算法 通过 不 同 的 选取 策略 ， 依 次 根据 图 中 各 边 的 权重 构 
造 出 最 小 生成 树 ， 本 书 采用 Kruskal 算 法 。 

下 面 介绍 实现 克 鲁 斯 卡尔 Kruskal) 算 法 的 主要 步骤。P3 

Stepl: 设 图 7=(V， 轧 初始 化 是 含 n 个 节点 而 边 集 为 空 的 非 连 通 图 。 
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Step2: 根据 各 边 权 值 不 同 ， 把 边 集 E 中 各 边 从 小 到 大 排序 。 

Step3: 在 E 中 选择 权 值 最 小 的 一 条 边 ， 若 该 边 的 两 个 节点 属于 不 同 集合 ， 则 将 其 加 入 
图 中 ， 且 合并 为 一 个 集合 ， 否 则 将 构成 回路 ， 则 放弃 此 边 。 

Step4: 依次 循环 步骤 3， 直 到 7 中 包含 所 有 的 "个 顶点 和 间 1 条 边 ， 满 足 停止 条 件 ， 完 
成 最 小 生成 树 模型 的 构建 。 

图 8-5 中 最 小 生成 树 G2 的 生成 过 程 如 图 8-6 所 示 ， 每 次 添加 的 边 用 粗 线 表示 。 


O ©O@0- @ © 


3 





图 8-6 ”最 小 生成 树 G2 的 生成 过 程 


84 ”建立 目标 跟踪 模型 


可 变形 模板 应 用 在 模型 各 个 部 分 的 相对 位 移 上 能 够 提高 模型 的 性 能 。 首 先 ， 一 个 部 分 
的 遮挡 可 由 另 一 个 部 分 的 位 置 来 估计 ， 并 不 会 影响 最 后 的 检测 结果 ， 能 够 提高 检测 率 ， 其 
次 ， 有 些 部 分 所 在 的 位 置 是 基本 相对 固定 的 ， 而 且 各 部 分 之 间 相 互 制约 ， 可 降低 误 判 率 。 
基于 可 变形 模型 的 原理 ， 提 出 最 小 生成 树 (MST) 模 型 来 建立 各 个 部 分 之 间 的 空间 位 置 联 
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系 ， 使 整个 检测 过 程 的 计算 复杂 度 较 小 。 

首先 ， 我 们 手动 标注 初始 帧 中 感 兴趣 的 目标 ， 描 述 表示 目标 iE V(V 代 表 我 们 正 跟踪 的 
目标 的 集合 ) 的 边界 框 为 B 产 {x;，w;，h}， 其 中 ， 中 心 位 置 为 x 二 {x;，»}， 宽 度 为 w;， 高 度 为 
hh。 从 图 像 r 中 提取 HOG 特 征 ， 把 目标 边界 框 8; 内 对 应 位 置 的 特征 连接 起 来 ， 获 得 特征 向 量 
9(1; B)， 即 第 ;个 目标 的 HOG 特 征 描述 。 

然后 ， 对 所 有 目标 ;E VV 定义 一 个 无 向 图 G=(VY，E)， 我 们 利用 目标 间 的 边 (i, 有 )EE 来 跟 
踪 。 在 图 模型 中 的 边 可 看 作 弹 簧 ,代表 被 跟踪 目标 间 的 空间 约束 。 物 体 的 某 个 实例 的 配置 
(Configuration) S URRI B. B» -> Bm ，B 表 示 第 i 个 目标 的 位 置 (可 以 简单 地 将 图 
片 的 配置 理解 为 各 部 分 的 位 置 布局 ， 实 际 上 配置 可 以 包含 部 件 的 其 他 属性 )。 

接 下 来 ， 我 们 用 多 个 被 跟踪 目标 的 空间 配置 C 的 得 分 来 描述 外 观 分 数 和 结构 变形 花 
费 。 外 观 分 数 概括 所 有 目标 的 图 像 特 征 和 分 类 器 权重 之 间 的 相似 程度 ， 通 过 计算 窗口 内 的 
梯度 方向 直方 图 特征 和 一 些 权重 的 点 积 来 获得 ， 变 形 分 数 衡量 部 件 间 连 接 的 变化 程度 ， 即 
部 件 偏离 其 理想 位 置 的 程度 ， 也 可 以 想象 为 弹簧 的 形变 量 ， 即 配置 对 跟踪 目标 间 的 弹簧 压 
缩 或 拉 伸 了 多 少 。 

数学 上 ， 基 于 可 变形 模板 的 多 目标 跟踪 模型 可 用 式 (8-2) 来 描述 。 


s(C, 9)-Yo/e(. B)-4 5 ke (82) 
D. T 


式 (8-2) 就 是 配置 C 的 得 分 。 故 检测 窗口 的 得 分 可 看 作 目 标 部 分 的 外 观 匹配 得 分 减 
去 模型 的 结构 变化 花费 。 其 中 ，9(1; B;) 表 示 图 片 1 中 B; 位 置 的 HOG 特 征 。 参 数 记 是 目标 
i 在 HOG 特 征 中 的 线性 权重 ,参数 记 的 初始 化 是 第 i 个 目标 经 SVM 训 练 后 获得 的 。 这 时 
SVM 分 类 器 基于 第 一 帧 中 随机 提取 的 正 负 样本 训练 而 成 。 参 数 e; 是 第 i 和 /目标 间 的 相 
互 关系 参数 ， 也 可 以 理解 为 目标 ;和 /7 之 间 弹 簧 的 长 度 和 方向 的 向 量 ;， 其 初始 化 基于 目 
标的 真实 标注 : exp xs 2 是 目标 ;和 /在 第 一 帧 中 的 位 置 。 所 有 参数 的 集合 表示 为 
9=to … wm er-s En} 。 我 们 把 参数 4 视 为 一 个 超 参数 ， 用 来 权衡 外 观 分 数 和 变形 花 
费 。 实 验 中 ， 固 定 和 =0.001。 最 后 ， 我 们 确定 图 G 的 结构 ， 也 就 是 决定 哪些 目标 由 边 互相 连 
接 。 在 理想 情况 下 ， 我 们 应 该 对 多 目标 构建 一 个 完全 连通 的 图 G 模 型 ， 用 来 约束 多 目标 间 
的 空间 关系 ， 但 这 会 给 后 续 的 搜索 检测 过 程 带 来 大 量 复杂 的 优化 问题 。 

因此 ， 本 书 提出 利用 最 小 生成 树 模型 来 构建 多 目标 间 的 空间 相互 关系 模型 ， 在 有 效 表 
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示 空 间 结 构 约束 的 同时 ， 使 整个 检测 过 程 的 计算 复杂 度 较 小 。 最 小 生成 树 模 型 基于 第 一 帧 





p 
, 











Kr; 





目标 的 标注 ， 搜 索 所 有 可 能 的 完全 连接 的 村 模型 的 集合 ， 使 其 最 小 化 È kl 


和 xz 是 目标 条 /在 第 一 帧 中 的 位 置 。 
最 后 ， 我 们 在 所 有 可 能 的 配置 C 中 找到 使 等 式 获 得 最 大 值 的 最 佳 的 目标 配置 输出 ， 即 
各 个 目标 的 准确 预测 位 置 。 
以 红 花 视频 图 像 序列 为 例 ， 描 述 整 个 目标 模型 的 构建 过 程 。 首 先 ， 读 取 视 频 序列 的 初 
台 帧 ， 如 图 8-7 所 示 。 























图 8-7 ”初始 帧 图 像 
然后 ， 手 动 标 注视 频 序列 初始 帧 中 感 兴趣 的 目标 区 域 ， 用 矩形 框 划分 成 图 像 块 ， 可 以 
看 到 目标 被 拆 分 为 4 部 分 ， 如 图 8-8 所 示 。 








KB) 
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图 8-9 是 经 过 HOG 特 征 提取 后 可 以 获得 的 4 个 特征 块 。 
$; B:) 





图 8-9 提取 特征 
pon 将 待 检测 图 像 块 的 HOG 特 征 输入 线性 SVM 进行 训练 ， 输 出 相应 的 HOG 特 征 





模板 ， 即 分 类 器 权 值 ， 再 经 过 与 SVM 训练 模板 卷 积 操作 ， 即 可 获得 目标 的 参数 化 外 观 模 
型 。 另 外 ， 根 据 最 小 生成 树 模型 确定 目标 间 边 的 连接 关系 ， 即 目标 间 空 间 位 置 关 系 的 构 
建 。 最 后 ， 多 目标 跟踪 模型 建成 ， 如 图 8-10 所 示 。 


W; 














W, m 
图 8-10 ”完成 模型 构建 
从 图 8-10 中 可 以 看 出 ， 利 用 HOG 特 征 模板 可 以 突出 目标 的 稳定 特征 ， 弱 化 不 稳定 特 
征 ， 使 目标 外 观 模型 更 加 准确 。 分 类 器 输出 就 是 该 定位 区 域 的 图 像 信息 与 该 目标 部 位 真实 
图 像 块 相 匹配 。 
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9.1 在 线 学 习 的 跟踪 算法 


传统 的 跟踪 算法 可 看 作 一 类 搜寻 匹配 问题 ， 利 用 目标 模型 在 视频 中 不 断 搜索 ， 找 到 相 
似 度 最 高 的 区 域 。 该 目标 模型 由 大 量 样本 数据 离线 建立 ， 还 可 以 根据 更 新 公式 进行 定时 更 
新 。 目 前 ， 该 算法 主要 用 于 跟踪 一 些 如 车 辆 等 变化 不 明显 的 刚性 目标 ， 但 对 于 行人 、 动 物 
等 外 形 多 变 的 柔性 目标 ， 则 不 能 实现 目标 的 鲁 棒 性 跟踪 。 采 用 该 方法 容易 发 生 跟踪 漂移 ， 
导致 跟踪 失败 的 原因 大 致 有 两 点 : 首先 ， 在 离线 状态 下 ， 要 想 建立 一 个 完全 包含 目标 所 有 
状态 的 模型 几乎 是 不 可 能 的 ;， 其次， 由 于 和 柔性 目标 的 外 形变 化 随机 ， 毫 无 规律 可 循 ， 简 单 
按照 更 新 公式 更 新 模型 只 能 在 一 定 程度 上 解决 柔性 目标 的 外 形 多 变 问题 ， 容 易 出 现 跟踪 漂 
移 现象 。 另 外 ， 保 证 该 离线 分 类 器 正常 工作 的 前 提 是 需要 人 工 标记 大 量 的 训练 样本 ， 这 
是 非常 费时 费力 的 。 例 如 ，Zhang™"" 等 利用 该 方法 做 人 脸 识 别 实验 ， 标 记 了 近 11 000 
个 正 样本 和 100 000 个 负 样 本 图 片 ， 而 且 样本 训练 工作 完成 后 ， 离 线 分 类 器 的 各 种 参数 
就 已 被 确定 ， 使 得 该 分 类 器 很 难 推广 到 任意 的 目标 类 型 。 

在 线 分 类 器 是 指 初始 化 后 具有 一 定 的 分 类 能 力 的 分 类 器 ， 能 应 用 到 其 后 图 像 序列 的 
分 类 ， 并 将 判别 结果 继续 作为 训练 样本 进行 实时 更 新 。”“ 在 线 更 新 分 类 器 最 显著 的 特点 
是 具有 较 强 的 自 适应 能 力 ， 可 以 实时 适应 目标 外 表 的 变化 。 在 线 学 习 跟踪 方法 的 本 质 是 检 
测 视频 中 未 标记 的 数据 并 对 其 进行 分 类 。2 5 它 能 把 未 标记 的 数据 进行 类 别 区 分 ， 并 把 正 
样本 存 入 样本 数据 库 中 。 在 跟踪 过 程 中 ， 随 着 时 间 的 推移 ， 数 据 库 中 的 目标 模型 逐渐 得 到 
完善 ， 同 时 数据 库 中 正 样本 不 足 的 问题 也 得 以 解决 。 这 种 新 思路 完全 区 别 于 传统 方法 的 套 
路 ， 不 再 设法 建立 复杂 的 离线 模型 与 更 新 规则 来 描述 目标 及 目标 的 变化 ， 而 是 在 视频 图 像 
序列 中 ， 根 据 目标 检测 模型 和 一 定 的 空间 约束 条 件 来 搜寻 目标 位 置 。 显 然 ， 在 线 学 习 跟踪 
方法 将 目标 的 跟踪 与 检测 看 作 一 个 整体 ， 这 种 思想 为 目标 跟踪 的 研究 开辟 了 新 方向 。 





92 ”SVM 在 线 学 习 的 跟踪 框架 


本 书 将 跟踪 问题 看 作 一 种 特殊 的 目标 检测 问题 ， 根 据 目标 检测 模型 和 一 定 的 空间 约束 
条 件 ， 在 视频 中 重新 搜索 并 定位 目标 的 位 置 。 我 们 利用 跟踪 目标 在 先前 帧 中 的 配置 作为 正 
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样本 来 更 新 我 们 的 模型 ， 在 一 个 在 线 的 结构 化 的 SVM 框架 中 训练 所 有 目标 的 外 观 模型 和 
这 些 目标 间 的 结构 约束 。 基 本 框架 如 图 9-1 所 示 ， 分 类 器 通过 这 种 在 线 学 习 和 训练 的 方式 
来 完成 目标 跟踪 。 






训练 分 类 器 


[sme onm aH mie | 分 类 器 | | 分 类 结果 


图 9-1 在 线 学 习 跟 踪 的 基本 框架 

实现 SVM 在 线 跟踪 算法 的 具体 细节 如 下 所 述 。 

1. 样本 初始 化 

第 一 帧 数据 往往 是 通过 人 为 标记 的 ， 也 可 以 利用 目标 检测 算法 ， 如 帧 间 差 分 、 背 景 
差分 等 算法 来 实现 。 本 书 首先 采用 人 工 标记 的 方法 确定 初始 帧 中 目标 矩形 框 的 坐标 位 置 和 
区 域 大 小 ， 从 而 得 到 准确 的 目标 信息 。 对 于 大 部 分 目标 来 说 ， 可 利用 一 帧 图 像 得 到 大 量 的 
正 负 样本 ， 提 取 每 个 样本 的 HOG 特 征 ， 建 立 初 始 化 训练 样本 集 。 这 里 ， 在 第 一 帧 图 片上 
根据 计算 包含 目标 区 域 的 图 像 块 特征 来 获得 表示 目标 的 正 样本 ， 同 样 ， 在 除了 目标 矩形 杠 
以 外 的 任意 位 置 ， 提 取 含 背景 区 域 的 等 大 图 像 块 特征 作为 负 样本 。 把 这 些 训练 样本 集 作为 
SVM 分 类 器 的 输入 进行 训练 ， 从 而 使 分 类 器 在 一 定 程度 上 具有 分 类 能 力 。 

2. 目标 定位 

提取 待 检测 样本 输入 分 类 器 ， 根 据 输 出 结果 预测 在 新 一 帧 中 目标 的 位 置 定位 ， 完 成 
该 帧 的 目标 跟踪 。 该 算法 能 从 已 有 的 跟踪 模型 基础 上 利用 分 类 器 输出 未 标定 帧 的 置信 图 ， 
由 置信 和 度 峰值 确定 这 一 帧 目标 的 位 置 。 整 个 视频 目标 跟踪 可 看 作 通 过 机 器 学 习 、 模 式 识别 
等 ， 完 成 一 个 训练 与 识别 的 交替 循环 过 程 。 

3. 更 新 分 类 器 

目标 确定 的 位 置 配置 被 用 于 更 新 分 类 器 ， 小 的 定位 误差 可 能 会 随 着 时 间 的 推移 而 传 
播 ， 导 致 跟踪 漂移 。 因 此 ， 对 于 在 线 学 习 的 跟踪 算法 ， 要 根据 每 帧 中 对 目标 跟踪 结果 的 置 
信 度 ， 判 断 是 否 把 当前 该 帧 的 目标 位 置 配置 送 入 训练 样 本 特征 库 中 ， 作 为 正 样本 用 于 更 新 
分 类 器 。 当 我 们 的 目标 是 遮挡 的 ， 我 们 不 想 更 新 该 目标 的 外 观 模型 。 为 了 避免 对 外 观 模型 
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的 错误 更 新 ， 我 们 设 定 固定 阔 值 ， 只 有 当 目 标的 置信 度 大 于 该 阔 值 时 ， 我 们 才 更 新 检测 杠 
对 应 的 分 类 器 权 值 。 否 则 ， 分 类 器 将 跳 过 更 新 步骤 ， 转 入 下 一 帧 的 跟踪 。 


93 结构 化 的 SVM 学 习 


为 了 适应 在 跟踪 过 程 中 目标 外 观 的 剧烈 变化 和 目标 间 相 互 位 置 关系 的 变化 、 表 示 模 型 
需要 进行 实时 更 新 以 此 来 避免 跟踪 框 的 偏 移 情况 ， 本 书 将 跟踪 图 像 序列 中 每 帧 多 目标 的 位 
置 配置 输出 作为 正 样 本 ， 用 来 学 习 外 观 模 型 参数 和 目标 间 的 相互 关系 参数 ey。 我 们 将 对 
模型 参数 9={o o Op epo 6g) 进行 结构 化 学 习 (Structured SVM). 


9.3.1 结构 化 的 SVM 


一 般 的 机 器 学 习 方法 在 建 模 时 ， 通 常 需要 寻找 一 个 映射 函数 : LX 9 Y, M AORUM 
为 Y。 这 里 ， 输 入 X 的 形式 是 多 种 多 样 的 ， 在 一 般 的 机 器 学 习 方法 中 ， 输 出 的 7 通常 是 一 个 
数值 或 者 一 个 0 或 者 1 的 标签 ， 比 如 分 类 、 回 归 、 分 布 密度 估计 等 方法 。 但 是 ， 在 结构 化 学 
习 方法 中 ，7 不 再 局 限于 作为 一 个 数值 ， 而 是 一 个 复杂 的 结构 对 象 。 比 如 ， 输 入 一 幅 图 像 
得 到 的 是 一 个 带 标签 的 序列 或 者 是 一 个 稀疏 的 树桩 结构 。 因 此 ， 结 构 化 的 学 习 方法 能 够 直 
接 解 决 实际 问题 ， 为 直接 得 到 具体 问题 中 的 输出 提供 了 一 种 框架 ， 在 理论 上 ， 可 以 把 任何 
一 种 输出 都 认为 是 一 种 结构 。 

在 结构 化 的 学 习 中 ， 训 练 过 程 就 是 根据 训练 集 G， 芒 )，GCo，])，…，GCo， 蕊 训练 一 
个 模型 。 这 里 ， 模 型 通常 是 一 个 参数 化 模型 ， 学 习 的 过 程 就 是 一 个 确定 参数 值 的 过 程 。 结 
构 化 学 习 包括 很 多 方法 ， 其 中 比较 重要 的 一 类 方法 就 是 基于 概率 图 模型 的 方法 ， 尤 其 是 
无 向 图 模型 ， 将 结构 化 学 习 的 问题 转化 为 图 模型 中 的 基本 问题 。™” 另 一 类 方法 就 是 Large 
Margin Method for Structured Learning， 也 就 是 Structured SVM， 是 对 SVM 方法 的 一 种 扩 
展 。 目 前 ，Structured SVM 已 经 具备 了 比较 成 熟 的 算法 框架 。27 

在 Structured SVM 中 ， 主 要 问题 是 要 寻找 一 个 判别 函数 : F: XxY >R: 给 定 一 个 输入 
值 ， 选 择 能 使 判别 函数 F 最 大 化 的 7 值 作为 输出 ， 即 
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fe W-E MERG ys w) (9-1) 
这 里 ，w 表 示 一 个 参数 向 量 ， 可 把 F 理 解 为 一 个 度量 (x，y) 兼 容 程度 的 函数 ， 表 示 为 
F(x, y; w)=w* g(x，y)， 其 中 ，o(x，y) 是 输入 对 输出 的 特征 表示 ， 其 形式 取决 于 具 
体 问 题 。 

为 了 量化 预测 的 准确 性 ， 定 义 了 一 个 损失 函数 A:YxY ->R， 给 定 一 组 训练 集 S,，ftx; w) 
的 性 能 可 以 通过 经 验 损失 函数 来 度量 。 不 同 的 x; w) 对 应 不 同 的 经 验 损失 ， 经 验 损失 越 
小 越 好 。 

经 验 损失 为 0 意味 着 得 到 一 个 完全 符合 训练 样本 要 求 的 判定 函数 f， 即 V(x;，»y)， 
fle)=y;， 但 一 般 无 法 得 到 满足 约束 的 可 行 解 。 因 此 ， 在 借鉴 SVM 算 法 思想 的 基础 上 加 入 松 
弛 变量 点， 使 模型 不 必 完 全 拟 合 训练 集中 的 样本 ， 从 而 得 到 下 面 的 优化 问题 ， 即 

nin «e 

ws 2 ni 

stvi, VyeY\y,: (w, õp (9) >1-4 0-2 
Jh, op (vy)-o(x. x)-o (x. y) 

这 里 可 以 将 5 理解 为 对 不 满足 约束 条 件 的 样本 的 惩罚 。 但 是 ， 这 里 对 于 两 个 不 满足 约 
束 条 件 的 y, 和 y,， 如 果 AQ,，y)>AG,，y)， 那 么 将 给 予 更 大 的 惩罚 。 因 此 ， 在 惩罚 时 应 该 
考虑 损失 函数 的 影响 ， 可 以 进一步 得 到 以 下 优化 问题 ， 即 

. lyp Ce 
min- |] UL 
stNi, VyeY Vy; (w, 6p.(y))=A(y,, y)-& 

通过 上 面 的 分 析 ， 可 以 将 求解 函数 /转化 为 SVM 的 优化 问题 ， 通 过 解决 这 个 问题 ， 可 
以 得 到 函数 f。 由 于 上 述 优 化 问题 的 约束 条 件 太 多 ， 直 接 使 用 SVM 进 行 求解 是 不 可 行 的 ， 
需要 使 用 特定 的 方法 才能 求解 。 


(9-3) 


9.3.2 ”结构 化 学 习 


若 一 帧 视频 图 像 1 对 应 的 最 佳 位 置 输出 为 C， 则 学 习 参 数 为 @， 使 最 优 值 满足 Structured 
SVM 的 损失 4(@, C) 最 小 ， 则 
«(8, C)=max[s(& @)-s(c, @)+a(c, c)] (9-4) 





156 | 无 人 机 航空 遥感 图 像 拼 接 技术 研究 





























其 中 ，C 为 多 个 目标 的 真实 位 置 配置 ，C 为 候选 位 置 配置 ，A(C，C) 为 损失 函数 ， 用 来 稀 
量 当 前 分 类 器 对 位 置 配置 预测 的 准确 程度 。A(C，6) 满 足以 下 条 件 ， 当 且 仅 当 C=C 时 ， 
A(C, Ĉ)=0; A(c. 6) 是 非 负 的 ， 存 在 YC#C， 有 A(C，C)>0; 存在 一 个 常数 M 有 上 
界 ， 对 于 VC 有 maxsA(C，C)<M。 在 我 们 的 跟踪 器 中 ， 根 据 C 和 C 之 间 的 重 短 度 来 定义 损 
Amo Bp 

















A(c, ĉ)= a -一 (9-5) 


其 中 ， 两 个 边界 框 的 并 集 与 交集 在 像素 中 测量 。 
损失 函数 的 形象 化 表示 ， 如 图 9-2 所 示 。 


c n G 
[6 C 


(a) 损失 函数 A(CC，C) 小 。”(b) 损失 函数 A(CC，C) 大 
图 9-2 损失 函数 示意 图 
结构 化 的 SVM 损失 4(@,，C) 不 包括 二 次 项 ， 但 它 是 仿 射 函 数 的 一 个 集合 的 最 大 值 。 因 
此 ， 公 式 (9-4) 中 的 {(@, C) 可 以 看 作 参数 @ 的 一 个 凸 函 数 。 故 在 其 方向 上 使 用 一 个 梯度 步 
又 的 搜索 方向 P 来 学 习 我 们 的 模型 参数 O。Structured SVM 的 梯度 可 以 表示 为 














P=Ves(C’', ©)-Vos(C, ©) (9-6) 
其 中 负 配 置 C 给 出 
C =arg max [s(& e)«a(c. cJ (9-7) 


为 了 从 实质 上 减 小 损失 ， 同 时 确保 参数 更 新 的 变化 不 太 大 ， 我 们 使 用 被 动 -主动 (Passive 
Aggressive，PA) 算 法 来 完成 参数 更 新 。 被 动 -主动 算法 "是 一 种 感知 器 学 习 算法 ， 在 修正 





v.d 
2o uU Wa cargmin- ww, 

权 值 中 加 入 主动 参数 ， 即 wo=wtty;。 在 原 目标 函数 weno 
st 1[w; (x> »,)] -0 


样本 的 线性 可 分 与 不 可 分 的 情况 ， 分 别 对 目标 函数 进行 修正 。 加 入 松弛 变量 6 得 到 PAOT: 





的 基础 上 ， 针 对 








| 
Ww — arg min 一 | 一 DE CE Wai 
vea ， 加 入 松弛 变量 所得 到 PADI， 
si I[w; (x. A 20 51. I[w; (x. »)]sé 


- arg min |w-w| ce 


第 9 章 “SVM 在 线 学 习 的 模型 参数 更 新 | 157 


目标 函数 将 依次 得 到 权 值 修正 时 所 对 应 的 三 个 主动 参数 "7 a T sme zi 
x t 


[5 l 





mm 


在 本 书 中 ， 结 构 化 的 预测 器 是 用 基于 前 帧 检测 的 在 线 方式 来 训练 的 。 在 每 一 帧 用 一 个 
简单 的 随机 子 梯度 下 降 算 法 后 ， 我 们 更 新 目标 跟踪 器 。 每 个 参数 更 新 的 步 长 由 被 动 -主动 
算法 决定 。 可 得 
AB. Ex, 

Wr e» 
其 中 ，P 为 学 习 过 程 中 的 搜索 方向 ; ke (0， dai 表示 控制 参数 在 更 新 过 程 中 的 
“主动 ”程度 。 实 验 中 ， 固 定 友 1。 


0-0- 


9.4 实验 结果 与 分 析 


实验 借助 LibSVM 函 数 库 、Matlab 等 有 效 的 工具 ， 通 过 编写 程序 完成 对 算法 有 效 性 的 
检验 。 程 序 中 主要 包括 HOG 特 征 的 提取 、MST 模 型 的 构建 、 输 入 图 像 的 检测 等 模块 。 本 
节 共 进行 了 4 组 跟踪 实验 ， 均 选取 具有 挑战 性 影响 因素 的 视频 段 ， 视 频 信息 如 表 9-1 所 示 。 
这 些 视 频 涉及 遮挡 、 变 形 、 相 似 外 观 以 及 背景 和 光照 多 变 等 在 目标 跟踪 领域 常见 的 难处 
理 的 因素 。 实 验 采 用 的 实验 硬件 是 Pentium(R) Dual-Core CPU E5300， 主 频 2.60GHz， 内 存 
2.00GB。 实 验 在 Matlab R2011a 上 进行 。 

表 9-1 视频 序列 信息 






名 称 


| Carchase 






难度 
350 EIE. EPI 
相似 外 观 












Red Flowers 
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本 书 基于 置信 图 显示 分 类 结果 。 置 信 图 由 灰 度 值 显示 待 测 图 像 中 各 像素 对 目标 的 置信 
度 ， 表 达 利 用 某 显 著 性 特征 信息 区 分 目标 与 背景 的 预测 效果 。™" 本 书 算法 能 从 已 有 的 跟 
踪 模 型 基础 上 利用 分 类 器 输出 未 标定 帧 的 置信 图 ， 由 置信 度 峰 值 确定 这 一 帧 目标 的 位 置 。 
同时 ， 依 据 每 次 跟踪 结果 的 置信 程度 决定 是 否 利用 当前 帧 在 线 更 新 正 负 样 本 和 目标 间 的 位 
置 关系 。 这 里 我 们 设 定 阔 值 为 0.4， 假 如 目标 置信 度 比 这 个 阔 值 小 ， 则 跳 过 更 新 步骤 转 入 
下 一 帧 的 跟踪 。 

首先 ， 定 性 地 分 析 视 频 跟踪 的 效果 。 如 图 9-3 所 示 ， 在 车 辆 追逐 视频 中 ， 背 景 在 不 断 
地 发 生变 化 ， 从 图 像 的 第 200 帧 开始 ， 两 辆 车 会 通过 一 座 大 桥 ， 在 这 个 过 程 中 目标 被 完全 
遮挡 ， 但 由 于 本 书 算 法 的 跟踪 器 可 根据 一 辆 车 的 位 置 估计 另 一 辆 车 的 位 置 ， 跟 踪 器 会 很 快 
追踪 到 目标 位 置 。 






























































图 9-3 ”跟踪 结果 ( 帧 号 依次 为 1，80，186，202，240，248，255，316) 
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第 二 组 视频 跟踪 几 灯 外 形 相似 的 花 杂 ， 由 于 风力 的 影响 ， 存 在 方向 移动 和 外 形 改变 ， 
有 时 发 生 相 互 间 部 分 遮挡 。 本 书 算法 的 跟踪 器 可 以 利用 结构 约束 来 区 分 具有 相似 外 形 的 不 
同 花 杂 ， 防 止 跟踪 器 在 目标 间 发 生变 换 ， 跟 踪 结 果 如 图 9-4 所 示 。 第 一 张 图 片 是 视频 的 第 
一 帧 中 目标 的 真实 标注 。 每 幅 图 片 的 右 侧 显 示 当 前 帧 的 置信 图 ， 由 此 可 以 看 出 在 整个 视频 
长 度 (2249 帧 ) 中 能 很 好 地 跟踪 。 
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X9-4 ”跟踪 结果 ( 帧 号 依次 为 1，136，201， 619, 737, 880, 1017, 1168) 
在 第 三 组 视频 中 ， 猪 鹏 和 小 羚羊 的 外 观 和 相对 位 置 随 着 时 间 的 推移 发 生 显著 改变 ， 这 

对 跟踪 的 鲁 棒 性 具有 很 大 的 挑战 。 由 于 两 个 动物 在 相同 方向 上 移动 ， 故 跟踪 器 通过 空间 的 

结构 约束 实时 更 新 两 个 目标 间 的 空间 距离 ， 因 此 依然 可 以 保持 鲁 棒 性 ， 进 行 有 效 的 跟踪 ， 
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跟踪 结果 如 图 9-5 所 示 。 











图 9-5 跟踪 结果 ( 帧 号 依次 为 1，280，400，500，885，1098，1515，1728) 














第 四 组 视频 跟踪 器 要 同时 跟踪 三 个 外 观 变化 不 大 的 目标 ， 但 是 ， 由 于 光线 多 变 ， 会 引起 
背景 发 生 很 大 变化 ， 另外， 光线 昏暗 使 目标 和 背景 的 区 分 度 较 低 ， 这 都 给 跟踪 工作 带 来 很 大 
的 挑战 。 本 书 算法 的 跟踪 器 利用 结构 约束 可 有 效 完成 对 多 目标 的 跟踪 任务 ， 如 图 9-6 所 示 。 

接 下 来 ， 我 们 统计 两 个 指标 来 定量 地 评价 跟踪 器 : 平均 定位 误差 和 正确 检测 率 ， 更 客 
观 、 直 接地 显示 该 算法 对 多 目标 场景 的 跟踪 性 能 。 平 均 定位 误差 (Average Location Errors; 
ALE) 是 通过 计算 预测 边界 框 的 中 心 位 置 到 人 工 标定 的 目标 真实 边界 框 的 中 心 位 置 之 间 的 
平均 欧 氏 距离 得 到 的 ， 误 差 越 小 越 好 。 正 确 检 测 率 (Correct Detection Rate，CDR) 是 指 预测 
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边界 框 和 标准 边界 框 之 间 的 重 又 率 不 小 于 50% 的 帧 数 比 率 ， 比 率 越 大 越 好 。 本 书 在 同一 实 
验 环 境 下 ， 与 不 含 目标 间 结 构 约束 的 传统 HOG+SVM 跟 踪 器 做 比较 ， 来 评价 我 们 的 跟踪 器 
的 性 能 。 在 对 整个 图 像 序列 的 跟踪 过 程 中 ， 依 次 统计 了 两 种 算法 下 所 有 帧 跟踪 结果 的 ALE 
和 CDR 的 平均 值 ， 如 表 9-2 和 表 9-3 所 示 。 











9-6 跟踪 结果 ( 帧 号 依次 为 1，20，38，122，253，330) 











表 9-2 平均 定位 误差 











视频 名 称 本 书 算法 HOG+SVM 算 法 
Car Chase | pi | 24.8 

Red Flowers | 9:3 | 50.6 
Hunting | 19.4 | I 





Shaking 7.7 58.3 
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表 9-3 ”正确 检测 率 











视频 名 称 HOG+SVM 算 法 
Car Chase 0.78 
Red Flowers 0.38 
Hunting 0.07 
Shaking 0.47 





由 表 9-2 和 表 9-3 可 以 看 出 ， 本 书 算法 的 平均 定位 误差 值 均 小 于 Dala-Triggs 检 测 器 ( 它 采 
用 HOG 特 征 描述 图 像 块 ， 用 SVM 预测 目标 的 存在 ， 通 过 同时 对 多 个 目标 进行 单 目标 跟踪 
来 最 终 实现 多 目标 跟踪 ) 的 平均 定位 误差 ， 而 检测 正确 率 均 大 于 Dala-Triggs 检 测 器 。 故 本 书 
改进 的 跟踪 器 能 实现 更 加 准确 的 跟踪 ， 其 在 多 目标 场景 中 的 性 能 得 到 提高 。 


第 10 章 
总 结 与 展望 
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10.1 工作 总 结 


我 们 对 无 人 机 航空 愧 感 图 像 的 拼接 计算 ， 进 行 了 以 下 几 方 面 的 研究 工作 。 

(1) 根据 无 人 机 遥感 图 像 成 像 的 内 、 外 方位 元 素 ， 采 用 直角 空间 变换 及 二 次 线性 插 补 
方法 ， 实 现 了 遥感 图 像 校正 。 根 据 获 取 的 无 人 机 飞行 状态 参数 ， 实 现 了 连续 两 幅 无 人 机 航 
空 遥 感 快 视 图 像 之 间 重合 区 域 的 图 像 范围 计算 。 

(2) 提出 分 布 存储 环境 下 的 并 行 几 何 校正 算法 ， 每 个 处 理 器 通过 计算 本 地 输入 子 图 像 
在 目标 图 像 中 的 范围 ， 确 定 其 需要 进行 重 采样 计算 的 区 域 ， 使 计算 过 程 中 所 需 的 数据 均 为 
本 地 数据 ， 很 好 地 解决 了 数据 局 部 性 问题 。 利 用 首尾 相连 的 闭 线段 近似 表示 理想 的 输出 图 
像 块 边界 ， 详 细 讨论 了 局 部 输出 区 域 的 计算 方法 ， 并 采用 一 种 新 的 存储 结构 用 于 保存 校正 
后 的 输出 图 像 块 信息 。 

(3) 基于 图 像 数 据 总 体 分 布 的 统计 ， 分 析 了 飞行 试验 图 像 的 成 像 质量 。 基 于 人 眼 亮度 
视觉 特性 曲线 ， 结 合 小 波 变换 和 Curvelet 变 换 的 特点 ， 提 出 一 种 新 的 图 像 增强 方法 ， 实 现 
了 无 人 机 遥感 序列 图 像 的 自 适 应 增强 处 理 。 

(4) 基于 匹配 特征 提取 方法 ， 提 出 了 一 种 将 小 波多 分 辨 率 分 析 特 性 和 Canny 算 法 相 结合 
的 检测 图 像 大 边缘 的 方法 ， 能 够 较 好 地 从 图 像 中 提取 出 比较 完整 的 大 边缘 ， 而 忽略 一 些小 
的 边缘 。 该 边缘 提取 方法 为 图 像 配 准 提供 了 一 个 良好 的 匹配 特征 。 

(5) 将 图 像 匹 配 分 为 粗 匹 配 和 精 匹 配 两 个 步骤 。 粗 匹配 计算 中 ， 首 先 确 定 待 拼接 的 
两 幅 图 像 之 间 的 大 致 重合 区 域 ， 利 用 小 波 变 换 与 Canny 算 法 提取 图 像 边缘 。 采 用 区 域 
匹配 方法 求 得 两 幅 图 像 的 匹配 点 。 精 匹配 计算 中 ， 在 更 小 的 搜索 区 域 ， 利 用 最 小 二 乘 
法 ， 计 算得 到 待 拼接 图 像 之 间 的 最 佳 相对 位 置 关 系 。 根 据 匹 配 结果 ， 实 现 两 幅 图 像 的 
拼接 。 

(6) 基于 人 眼 的 颜色 视觉 特性 分 析 ， 提 出 了 一 种 具有 抗 亮度 干扰 能 力 的 彩色 图 像 色 差 
度量 方法 。 利 用 颜色 相似 性 分 析 ， 并 引入 协 方差 矩阵 计算 ， 给 出 了 彩色 图 像 特 征 模板 的 提 
取 方 法 。 利 用 最 小 二 乘法 ， 建 立 了 两 幅 彩 色 图 像 之 间 的 亮度 变换 函数 曲线 ， 实 现 了 基于 基 
准 图 像 亮 度 分 布 的 伽 马 校正 。 

(7) 目标 的 特征 描述 是 跟踪 算法 中 的 重要 步 又， 直接 影响 最 终 的 跟踪 效果 ， 决 定 整个 
跟踪 系统 的 性 能 。 基 于 分 类 学 习 的 目标 跟踪 一 般 不 选择 较 直观 的 整体 特征 ， 而 偏向 于 由 基 
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本 特征 进行 局 部 特征 统计 ， 使 特征 描述 子 更 易于 区 分 且 计 算 量 较 小 。 选 择 目前 成 功 应 用 于 
目标 检测 的 HOG 特 征 作 为 目标 特征 。 

(8) 传统 的 离线 分 类 器 是 需要 人 为 标记 大 量 样本 的 训练 分 类 器 ， 当 待 测 样本 与 训练 样 
本 有 较 大 差异 时 ， 无 法 及 时 适应 目标 的 外 观 变化 ， 且 难以 推广 到 其 他 目标 类 型 ， 分 类 器 应 
用 具有 局 限 性 。 基 于 检测 的 跟踪 算法 ， 在 跟踪 过 程 中 ， 跟 踪 器 根据 上 一 帧 的 跟踪 结果 信息 
在 线 更 新 分 类 器 ， 然 后 再 对 当前 帧 检测 ， 以 获取 当前 运动 目标 的 准确 预测 位 置 ， 有 效 抑制 
跟踪 漂移 。 首 先 ， 构 造 目标 的 外 观 模型 。 在 初始 帧 中 随机 选择 大 量 含 目 标 区 域 以 及 含 背景 
区 域 的 等 大 图 像 块 ， 分 别提 取 HOG 特 征 ， 标 记 为 正 负 样本 。 然 后 ， 将 这 些 样 本 特征 集合 
作为 训练 样本 输入 SVM 分 类 器 ， 即 可 训练 得 到 目标 准确 的 参数 化 外 观 模型 。 由 于 HOG 特 
征 具 有 几何 不 变 的 特性 ， 经 过 SVM 训练 后 得 到 的 目标 外 观 模型 将 更 加 准确 。 本 书 所 提出 
的 遥感 图 像 处 理 算法 ， 实 现 了 仿真 程序 设计 ， 验 证 了 算法 的 可 行 性 ， 完 成 无 人 机 航空 于 感 
图 像 动 态 拼接 的 软件 设计 工作 。 


10.2 未 来 工作 的 展望 


遥感 图 像 拼接 是 一 个 实用 但 复杂 的 数据 处 理 过 程 ， 本 书 所 提出 的 算法 在 以 下 几 方 面 需 
要 做 进一步 研究 。 

(1) 图 像 校正 时 ， 只 是 针对 所 摄 图 像 在 水 平方 向 上 的 旋转 进行 了 校正 ， 而 忽略 了 俯仰 
和 横 滚 的 旋转 ， 使 图 像 校正 难以 达到 更 高 的 精度 。 

Q) 多 帧 对 齐 优化 技术 ， 包 括 基于 平面 景物 模型 的 对 齐 优化 技术 和 基于 旋转 运动 模型 
的 对 齐 优化 技术 ， 它 们 是 提高 图 像 Mosaic 质 量 和 自动 计算 相机 非 线 性 畸变 参数 的 基础 ， 我 
们 将 建立 和 推导 旋转 运动 模型 ， 由 于 多 帧 对 齐 优化 的 运算 量 较 大 ， 在 实际 应 用 中 可 能 是 无 
法 承受 的 ， 因 此 寻找 快速 、 减 少 运算 代价 的 算法 是 未 来 的 研究 内 容 。 

(3) 自动 计算 相机 的 非 线性 畸变 参数 ， 利 用 光 强度 常量 的 约束 建立 并 推导 带 有 非 线性 
畸变 参数 的 多 帧 优化 目标 函数 ， 分 别 使 用 基于 平面 景物 模型 的 对 齐 优化 技术 和 基于 旋转 运 
动 模型 的 对 齐 优化 技术 来 自动 计算 相机 的 非 线 性 畸变 参数 。 

(4) 建立 动态 图 像 Mosaic， 即 建立 基于 图 像 的 动态 虚拟 环境 的 基础 。 我 们 主要 研究 图 
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像 序列 间 的 对 齐 ， 针 对 机 载 相机 拍摄 的 两 个 视频 序列 ， 使 用 所 有 的 时 空 信息 来 估计 空间 帧 
的 对 齐 和 两 个 序列 的 同步 。 动 态 环境 (包括 移动 物体 和 光源 变化 ) 是 对 齐 运算 的 有 利 线索 ， 
我 们 将 研究 瞬间 直接 对 齐 技术 而 不 需要 事先 估计 点 和 帧 的 对 应 关系 ， 它 把 时 间 和 空间 线索 
合成 一 个 统一 的 框架 来 建立 优化 目标 函数 。 

以 上 不 足 尚 需 进一步 完善 ， 以 提高 图 像 拼接 的 精确 性 和 快速 性 。 
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